Умная камера что это такое
6 причин, почему вам нужна умная камера
Камеры используются для наблюдения уже далеко не один год. Но лишь сравнительно недавно на рынке начали появляться доступные умные устройства, функционал которых существенно больше, чем у обычных камер. Обычная камера может просто снимать и передавать видео, например, на удаленный сервер или монитор. Пользователь может просмотреть данные в любой момент, но для полноценного контроля ситуации нужно, чтобы кто-то постоянно следил за обстановкой и принимал решения: нужно ли вмешаться или нет. Все это умеет делать умная камера, существенно экономя время и даже электроэнергию.
Что такое умная камера?
Умная камера – специальное интеллектуальное устройство, которое оснащается достаточно обширным перечнем всевозможных дополнительных приспособлений, датчиками и специализированным программным обеспечением. Обычно умные камеры входят в состав системы умного дома, но могут работать и самостоятельно, просто передавая информацию на смартфон пользователя, где бы тот не находился.
6 причин завести умную камеру в своем доме
Умная камера поможет во многих вопросах. Мы собрали самые весомые причины, чтобы завести такой гаджет у себя дома.
Безопасность
Первое, о чем нужно сказать – это защита жилья от злоумышленников. Умная камера умеет определять, кто находится дома, делать снимки жильцов, узнавать их по лицу и многое другое, что сделает вашу жизнь намного безопаснее. Устройство также отслеживает, что делает тот или иной человек. Если в ваше отсутствие кто-то посторонний проник в квартиру или дом, камера сразу же вам об этом сообщит. Кроме того, устройства умеют различать движение веток за окном, определять животных и так далее, поэтому ложных срабатываний бывает мало. Помимо перечисленного, устройство может включаться только тогда, когда получает сигнал с датчика. Это позволяет экономить энергию.
Родительский контроль
При помощи умной камеры можно следить за тем, что делают дети, когда они дома одни, как ведет себя ваша няня и многое другое. Например, если ребенок вместо уроков смотрит мультики, камера сообщит вам и об этом.
Поиск вещей
Многие сталкивались с ситуацией, когда невозможно найти какой-либо предмет, хотя, казалось бы, его оставили «вот прямо на этом месте». При помощи камеры вы сможете узнать, где именно он находится. Особенно это полезно, когда уборкой дома занимаются нанятые специалисты.
Контроль за животными
Домашние животные иногда тоже прячут ваши вещи, при помощи камеры это можно сразу обнаружить. Кроме того, если интегрировать камеру в состав умного дома, можно с ее помощью определять, когда животных нужно покормить или напоить, передавая соответствующие команды автоматическим кормушкам. Да и наблюдать за животными бывает просто забавно.
Контроль за рабочими
Нередко бывает так, что, например, ремонт ведется только тогда, когда вы следите за рабочими и тем, что они конкретно делают. А если контроля нет, то целый день может быть потрачен на перекуры и отдых. Камера помогает решить и эту проблему.
Наблюдение за пожилыми людьми
Пожилые люди нередко требуют множества внимания и постоянного контроля. Умная камера может отслеживать их действия, уведомлять о нештатных ситуациях и выдавать вам информацию на смартфон.
Заключение
Умная камера постепенно превращается из роскоши в необходимость. Огромное количество полезных функций, особенно при интеграции с системой умного дома, – это то, что существенно облегчит вам жизнь.
Оставьте свою электронную почту и получайте самые свежие статьи из нашего блога. Подписывайтесь, чтобы ничего не пропустить
Как устроены умные камеры? Разбор
Сегодня мы поговорим о том, как работают умные камеры.
Как они узнают лица, понимают жесты и даже создают объекты дополненной реальности.
Что такое умная камера?
Когда мы говорим «умная камера», что приходит на ум?
Пожалуй, одно из самых ярких проявлений это Microsoft Kinect для Xbox, анонсированная аж в 2010 году.
Эта штука серьезно изменила мир игр и была домашним хитом у многих. Kinect умел очень точно и главное быстро распознавать игрока, его движения и позу. Игра реагировала на его движения – контроллер был не нужен.
Как это работало 10 с лишним лет назад? Как можно было понять силуэт и позу человека, используя только камеру?
Основной фишкой Microsoft Kinect было наличие двух камер. В пару к обычной у него была инфракрасная камера, но очень непростая. Третий глазок на корпусе – это инфракрасный излучатель, который работал в паре с камерой.
Фишка в том, что он светил в комнату сеткой инфракрасных точек. Но самое главное — эти точки были организованы в уникальный паттерн. Поэтому, при сканировании сетки камерой, мы знаем, какой области изображения соответствует каждая группа точек.
Дальше, по искажению этого известного ему паттерна, Kinect понимал, на каком расстоянии та или иная точка находится. Круто, да? Эта технология еще называется structured lighting.
Как дальше развивались технологии? Еще олды могут вспомнить аксессуар под названием Leap Motion, вышедший в 2012 году. Помните, такая маленькая штучка, которая очень хорошо понимала жесты рук.
Там похожий принцип, но усовершенствованный. Там было целых три инфракрасных излучателя и 2 инфракрасные камеры. Все это могло распознавать объекты еще точнее.
Умная камера сейчас
Но к чему мы об этом? Технологии развиваются. И сейчас уже такое навороченное решение не нужно. Алгоритмы могут справиться с такими задачами при помощи обычной камеры. Причем одной. Как?
Давайте выяснять. Но сперва начнем с чего-то попроще, чем жесты. С распознавания лица.
Распознавание лица
Почему? Как ни парадоксально, научить компьютер распознавать лицо проще, чем многие другие объекты. Давайте посмотрим, как это происходит.
Итак, давайте представим: у нас есть картинка, на которой где-то есть человеческое лицо, и может быть не одно. Как его найти?
На первый взгляд задача несложная. Почти все лица в мире имеют схожие черты: два глаза, нос, губы. Алгоритм нетрудно натренировать искать нечто похожее. На выходе мы должны получить Лицо, размеченное точками, между которыми измеряются расстояния. В базовом варианте – это всего 5 точек. Это называется Snapshot лица. И этого уже достаточно для весьма точной идентификации пользователя. Но нюанс заключается в том, как это делать?
Классическая технология распознавания лиц устроена по принципу Sliding Window, когда изображение разбивается на прямоугольные сектора и в каждом ищется нечто похожее на лицо. Но с этим есть проблема: в зависимости от размера ячеек в каждую может попасть одно лицо, несколько лиц или вообще часть лица.
Сегодня разбираем эти технологии на примере устройства SberBox Top. Это умная медиаприставка с камерой для телевизора, которая умеет много всего. Но ключевое для нас — это наличие одной камеры, через которую происходит взаимодействие с устройством.
В этом устройстве используется технология RetinaFace. Здесь реализован более крутой подход — это Image Pyramid. Тут один и тот же фрагмент изображение анализируется как бы с разным масштабом — участки анализируются с разной крупностью, чтобы не прошляпить лицо. Но есть и проблема – объем данных для анализа конечно увеличивается. Вместо одной картинки на сектор – целый массив. И этот массив как раз выглядит как пирамида.
Следующим шагом идёт так называемое извлечение дескрипторов. По-русски – создание слепка лица или «снепшота»: тех самых точек с координатами: глаза, кончик носа, уголки рта. Для этого найденное лицо вырезается по координатам из исходного изображения и выравнивается.
В целом, это похоже на то, как Android-смартфоны без инфракрасных датчиков разблокируют смартфон по лицу.
И главное – все происходит локально. Хранение снимка лица (а точнее, его математическое представление) и его сравнение делается на устройстве. Причем одновременно может обрабатываться несколько лиц. Внутренние требования по распознаванию: 5 человек на расстоянии до 5 метров.
А зачем это нужно? Прежде всего для персонализации, что актуально для устройств, которые находятся в квартире в общем доступе. Один из чувствительных примеров – оплата без использования смартфона или пульта на SberBox Top. При покупке устройство выводит 6-значный код, который надо просто прочитать. А дальше оно идентифицирует пользователя по двум параметрам: лицу, что мы уже обсудили, и по голосу (там похожий алгоритм, только со звуком). По сути, такая домашняя двухфакторная авторизация. Естественно, сперва такой метод оплаты надо активировать в приложении.
Дополненная реальность
Другое применение распознавания лица – это дополненная реальность. Но важно, что здесь включается другая модель. Она тоже заточена на поиск лица, но уже размечает его трехмерном пространстве. Это называется 3D mash головы и он состоит из около 70 точек. Что-то вроде масок в Instagram.
Например, есть очень эффектные сказки в AR — называются Чудо-Книжки. Здесь на 3d mash накладывается маска персонажа. Ее даже можно передавать другому, если рядом кто-то сидит. А весь рендер происходит локально на графическом процессоре Mali G52.
Жесты
Но одно дело лицо, а другое — более сложные объекты. Жесты. Давайте разбираться с ними.
Это действительно непросто, производители не торопятся внедрять такое управление в устройствах. Но сперва. Почему жесты?
Такие интерфейсы давно появились в научной фантастике. Можно вспомнить «Особое мнение», «Железного человека» и других. Ретрушники вспомнят и «Джони Мнемоника».
Давайте вспомним про наше взаимодействие с устройствами. Первым и самым надежным способом ввода долгое время был кнопочный интерфейс. И первым значимым переходом стало появление iPhone и современных мобильных операционных систем, которые перешли на сенсорное управление.
Причем с ними тоже интересно, ведь основная часть взаимодействия все еще происходит через нажатие виртуальных клавиш. Но жестов явно становится больше: pinch-to-zoom, свайп вверх для перехода на домашний экран.
Но почему жесты являются для нас более естественными? Когда мы хотим что-то сделать, обычно мы предпринимаем физическое действие: идем, чтобы оказаться на кухне, открываем холодильник, чтобы достать продукт, протягиваем руку, чтобы взять колбасу и так далее. То есть наше намерение что-то сделать почти всегда сопровождается каким-либо физическим действием. И в этом смысле жест, движение по экрану куда более логично, чем статическое нажатие кнопки «Вкл/выкл». Поэтому переход к жестам кажется таким же интуитивным как переход от кнопок к сенсору.
Ладно, достаточно философии. Как на картинке с камеры обнаружить руку с жестом?
Оказывается, существуют алгоритмы, которые умеют распознавать в видеопотоке и человеческую ладонь. Методы там примерно такие же, как с лицом. Например, у Google есть своя открытая библиотека Google MediaPipe: первым делом в кадре ищется сама ладонь, она обычно имеет форму четырехугольника. Затем к ней находятся пальцы.
Но и тут есть свои нюансы. Одно дело тестировать распознавание в тепличных лабораторных условиях. Или в стеклянном опенспейсе, где сидят сами разработчики. А другое, когда устройства доходят до гостиных и кухонь реальных пользователей. И тут могут быть совершенно непредсказуемые срабатывания. Для того, чтобы решить проблему нужно сперва натренировать нейронку на огромном количестве примеров.
Для этого создатели SberBox Top специально собрали большой датасет реальных пользовательских сценариев, так как на открытых данных достаточного качества добиться было бы невозможно. Пришлось даже организовывать референсные съемки и нанять актеров, чтобы получить релевантные кейсы в реальных интерьерах.
На данный момент устройство распознает четыре типа жестов: «виктори» или буква V — для активации ассистента, открытая ладонь для Play/Pause — мой любимый, и лайк/дизлайк для треков.
Кстати, все видео со съёмок прогоняли через нейронку и тренировали ее. Этим занимался суперкомпьютер Кристофари – один из самых мощных в России. Он работает на базе 16 графических процессоров NVIDIA Tesla. Интересно, что недавно у Сбера появился обновлённый и более мощный Кристофари Нео. Но это другая история…
В общем, для корректной работы жестов нужна обученная нейросеть. Что это такое? Если очень грубо, то это что-то вроде такой матрицы, которая условно говорит: если вы видите такие-то пиксели, то это скорее всего такой-то жест, например «лайк».
Далее эту модель оптимизируют для работы на компактном устройстве. В таком виде она занимает несколько мегабайт. Внутри SberBox Top стоит шестиядерный процессор Amlogic A311D (2x Cortex-A53, 4x Cortex-A73). На чипе есть и NPU для нейросетевых задач.
Кстати, все устройство оптимизировано, чтобы обеспечить максимальную производительность в таком форм-факторе. Поэтому про нагрев тоже подумали. Тут есть интегрированный радиатор с теплопроводной медной трубкой.
Что насчет точности? Честно говоря, еще год назад, когда на устройствах Сбера только запустились жесты, они уже работали неплохо. Но все же периодически были ошибки и полностью полагаться на них нельзя было, но сейчас точность значительно выше. На данный момент заявляется точность в 95-97%.
Из ста разных жестов для теста у меня не сработали жесты трижды: причем два из них на жест дизлайк. То есть точность 97 процентов в моем тесте. Понятно, что в нашей студии достаточно комфортные для алгоритма условия с хорошим светом. Но все равно результат крутой. Часто простой жест рукой намного удобнее, чем произносить аналог команды.
Отслеживание позы
Но это еще не все. Кроме жестов рук, умная камера может определять и наши позы. Зачем? Ну например, это пригодится в приложении по занятиям йогой. И оказывается, это еще интересней устроено. Здесь тоже большой скачок произошел в эпоху развития Kinect.
Смотрите, в итоге после обработки алгоритм получает примерно такое изображение с силуэтом человека. И по сути наша задача сводится к тому, чтобы преобразовать картинку с силуэтом в информацию о положении тела человека.
Как это может выглядеть?
Оказывается, наше тело можно описать по положению основных точек тела, совпадающих анатомически с ключевыми суставами и углами поворота ключевых суставов. Если мы знаем под каким углом загнут локоть, шея и так далее, то мы можем описать человеческую позу при помощи примерно 40 чисел. А чтобы построить простой скелет хватить 17 точек. Прикольно, да?
Но как это посчитать? Тут начинается самое интересное… Есть несколько технологий.
В ходе исследований выяснилось, что можно сделать следующее. Возьмем силуэт человека на картинке. Что можно про него сказать? Можно посчитать площадь, да. Можно посчитать периметр этой фигуры, его высоту, ширину и записать все эти значения в массив. Получится несколько десятков чисел, которые описывают это пятно.
Более того есть еще одна фишка. Камера отслеживает нас непрерывно. А наше тело не может мгновенно перейти из одной позы в совершенно противоположную. Оно проходит через фазы. И компьютер это знает, поэтому понимает, какая поза может оказаться следующей, а какая точно нет. Сейчас есть и более простые и точные технологии.
Нужно собрать набор картинок с людьми в разных позах, дальше они размечаются вручную в специальной программе. Этим также занимается суперкомпьютер Кристофари, один из самых мощных в России. Он работает на базе графических процессоров Nvidia Tesla. Затем на датасете обучается нейросеть, и так она сама начинает понимать, где находится какой участок тела.
Здесь это используется, в том числе в игре Beat Dancer. Или при умном зумировании во время видеозвонков. Примерно как в последнем iPad Pro. Правда здесь эту фишку представили год назад.
Камера
И все это реализовано благодаря одной только камере. Никаких инфракрасных датчиков. Кстати, в SberBox Top у нее есть механическая шторка, если вы за превентивную безопасность.
Камера тут и правда очень неплохая. Ее разрешение 3840 x 2160, что в четыре раза выше, чем у большинства ноутбуков. А угол охвата 120°. Сама оптика и модуль спроектированы таким образом, что при длительной работе камеры и ее неизбежном нагреве оптические параметры не “уплывают”. К примеру, обычная камера не рассчитана на непрерывную работу 24/7. Но это уже другая история…
Умная камера Яндекса научилась распознавать еду, машины и уравнения
Интернет, 29 сентября 2021 года. Яндекс объявил о масштабном обновлении умной камеры. Теперь с её помощью можно узнать, сколько белков, жиров и углеводов в чипсах, что за необычный автомобиль припаркован у дома или как решить квадратное уравнение — для этого достаточно навести на них камеру или сфотографировать. В основе новых возможностей лежат поисковые технологии и компьютерное зрение.
«Визуальный поиск — это принципиально иной способ искать информацию. Вам даже не нужно формулировать вопрос, вы просто наводите камеру на объект и узнаёте о нём всё. Мы верим, что за визуальным поиском будущее, и смотрим, как люди реагируют на умную камеру, что им нравится, а что нет. Это помогает нам понять, куда двигаться дальше, чтобы камера становилась более удобной, функциональной и полезной для пользователей», — рассказывает Елена Бондарь, руководитель умной камеры Яндекса.
Поиск продуктов
Умная камера улучшила поиск по продуктам питания. Теперь она не только находит их в интернете, но и даёт подробное описание. Стоит навести камеру на пакетик сока или плавленый сырок, и она покажет их состав: количество жиров, белков и углеводов; наличие сахара и ГМО; содержание микроэлементов. А также — сколько в продукте калорий и как долго нужно плыть или бежать, чтобы их израсходовать.
Поиск автомобилей
Если навести камеру на автомобиль, она покажет его описание: марку, модель и технические характеристики. Человек сможет понять, что за машина перед ним, какая у неё мощность, скорость и расход топлива. Технические характеристики снабжены коротким и ёмким пояснением: например, «разгоняется как спринтер» или «вместительная, как сундук».
Решение задач
Умная камера подскажет порядок действий для решения линейных и квадратных уравнений. Для этого достаточно перейти в режим «Решения» и сфотографировать задание. Кроме того, камера поможет найти обучающие видео, которые подробно объясняют решение задач такого типа.
Новые функции
Пользоваться камерой стало удобнее. Если интерес вызвало что-то мелкое, теперь можно приблизить изображение с помощью зума. Появилась возможность сфокусировать камеру на интересующем объекте. А если его нет перед глазами, можно загрузить фото из галереи. Кроме того, появилась фронтальная камера. Она позволяет показать камере самого себя — например, чтобы она нашла стихотворение (поиск стихов по изображению работает в режиме «Поэзия»).
Умная камера была запущена весной этого года. Она умеет также сканировать документы, переводить текст и распознавать предметы. Например, она подскажет название цветка, породу собаки или магазин, где можно купить понравившуюся вещь. Камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.
Умная камера видеонаблюдения
Сегодня представить себе бизнес без внедрения новых технологий уже не представляется возможным. Технологические новшества заметно облегчают ведение бизнеса, увеличивают прибыли и позволяют развивать свое дело в разы, если не в десятки раз быстрее. Одним из таких новшеств стало IP-видеонаблюдение, или умное видеонаблюдение, которое быстро занимает лидирующие позиции в направлении обеспечения безопасности и контроля за процессами на производстве.
Что такое умное видеонаблюдение?
Это система smart-камер, позволяющая в режиме реального времени производить съемку в высоком разрешении из любой точки с последующим сохранением и анализом видео-контента. Если обычная видеокамера осуществляет исключительно наблюдение за объектами, то IP-камера имеет расширенный функционал, способный обеспечить высокий уровень контроля и безопасности на любой территории.
IP-видеонаблюдение активно используется в концепции «умный город» для обеспечения безопасности на улицах и в общественном транспорте, на частных территориях для охраны домов и участков, и, конечно, для оптимизации рабочих процессов малого, среднего и крупного бизнеса.
Цена на такие IP-камеры выше, чем на аналоговые, но это не безосновательно.
Основные функции smart-камеры
Огромный функционал умного видеонаблюдения позволяет решать сразу несколько задач:
Smart-камера должна соответствовать потребностям пользователя. Например, для охраны загородного дома достаточно простой IP-камеры, для крупного производства потребуется профессиональная система видеонаблюдение с большим количеством камер с разными функциями.
Безопасность
Пожалуй, самая главная функция smart-камеры – это обеспечение безопасности. Камера не просто следит за действиями, происходящими на территории, но и оперативно сообщает о них на пункт охраны, предотвращая тем самым незаконные проникновения на производство или участок.
Камеры могут реагировать на тревогу с датчиков огня, дыма, движения и прочих систем сигнализации, выявлять шумы, появление лиц и объектов в кадре, закрытие или изменение положения камеры. Зафиксировав событие, камера отправляет push-уведомление на почту или телефон пользователя, или сигнал управления на систему оповещения
Видео HD и Full HD, сохраненные в защищенном облачном хранилище, помогут отследить время и обстоятельства чрезвычайного происшествия, распознать лица и голоса людей в кадре. Запись может использоваться в качестве доказательства случившегося при необходимости обращения в правоохранительные органы.
Использование камер с функцией распознания автомобильных номеров заметно упрощает процесс контроля за транспортом, попадающим на территорию. Данной функцией снабжена камера Hikvision DS-2CD4A26FWD-IZS/P
Она позволяет вести запись при низком уровне освещения, создавать «черные» и «белые» списки номеров и производить поиск в архиве по заданному автомобильному номеру. Интеграция с СКД позволяет камере самостоятельно открывать доступ на территорию при считывании номера из «белого списка».
Оптимизация работы
Еще одна веская причина внедрения умного видеонаблюдения в свой бизнес – возможность оптимизации рабочих процессов.
Для осуществления такого уровня контроля подойдет камера с функцией обнаружения и подсчета лиц Hikvision DS-2CD5A26G0-IZHS.
Камера реагирует на появление человека в конкретной области и на его выход из нее, фиксируя время пребывания и производимые действия. Обеспечивает распознание лиц в кадре и точный подсчет людей, находящихся в области съемки, что позволяет следить за ежедневным потоком клиентов и оптимизировать бизнес-процессы.
Выгода и экономия
Smart-камеры, благодаря видео-аналитике, позволяют минимизировать затраты на охрану и дополнительные системы контроля за рабочими процессами. Камера обеспечит вас информацией обо всех событиях, происходящих на территории вашего офиса или предприятия, сообщит вам о ЧП, поможет повысить эффективность и дисциплину работников, сократит количество краж и происшествий на производстве. Камере не знаком человеческий фактор – она всегда работает по заданным настройкам, и вы можете быть уверены в получении точных сведений.
Доверить пропускную систему вы можете камере с технологией распознавания лиц Hikvision iDS-2CD8426G0/F-I.
Камера мгновенно сравнивает полученное изображение с собственной библиотекой лиц, на основании чего может разрешить или запретить доступ на территорию по заданным параметрам. При заслоне объектива срабатывает тревога, и камера отправляет уведомление на пункт охраны.
Любую из представленных камер вы можете приобрести в магазине Manggis. Наш интернет-магазин осуществляет доставку в Алматы и другие города Казахстана.
Если вы выбрали товар, но у вас остались вопросы, свяжитесь с нашими менеджерами по горячей линии.