Умная камера что это
Умная камера Яндекса научилась распознавать еду, машины и уравнения
Интернет, 29 сентября 2021 года. Яндекс объявил о масштабном обновлении умной камеры. Теперь с её помощью можно узнать, сколько белков, жиров и углеводов в чипсах, что за необычный автомобиль припаркован у дома или как решить квадратное уравнение — для этого достаточно навести на них камеру или сфотографировать. В основе новых возможностей лежат поисковые технологии и компьютерное зрение.
«Визуальный поиск — это принципиально иной способ искать информацию. Вам даже не нужно формулировать вопрос, вы просто наводите камеру на объект и узнаёте о нём всё. Мы верим, что за визуальным поиском будущее, и смотрим, как люди реагируют на умную камеру, что им нравится, а что нет. Это помогает нам понять, куда двигаться дальше, чтобы камера становилась более удобной, функциональной и полезной для пользователей», — рассказывает Елена Бондарь, руководитель умной камеры Яндекса.
Поиск продуктов
Умная камера улучшила поиск по продуктам питания. Теперь она не только находит их в интернете, но и даёт подробное описание. Стоит навести камеру на пакетик сока или плавленый сырок, и она покажет их состав: количество жиров, белков и углеводов; наличие сахара и ГМО; содержание микроэлементов. А также — сколько в продукте калорий и как долго нужно плыть или бежать, чтобы их израсходовать.
Поиск автомобилей
Если навести камеру на автомобиль, она покажет его описание: марку, модель и технические характеристики. Человек сможет понять, что за машина перед ним, какая у неё мощность, скорость и расход топлива. Технические характеристики снабжены коротким и ёмким пояснением: например, «разгоняется как спринтер» или «вместительная, как сундук».
Решение задач
Умная камера подскажет порядок действий для решения линейных и квадратных уравнений. Для этого достаточно перейти в режим «Решения» и сфотографировать задание. Кроме того, камера поможет найти обучающие видео, которые подробно объясняют решение задач такого типа.
Новые функции
Пользоваться камерой стало удобнее. Если интерес вызвало что-то мелкое, теперь можно приблизить изображение с помощью зума. Появилась возможность сфокусировать камеру на интересующем объекте. А если его нет перед глазами, можно загрузить фото из галереи. Кроме того, появилась фронтальная камера. Она позволяет показать камере самого себя — например, чтобы она нашла стихотворение (поиск стихов по изображению работает в режиме «Поэзия»).
Умная камера была запущена весной этого года. Она умеет также сканировать документы, переводить текст и распознавать предметы. Например, она подскажет название цветка, породу собаки или магазин, где можно купить понравившуюся вещь. Камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.
6 причин, почему вам нужна умная камера
Камеры используются для наблюдения уже далеко не один год. Но лишь сравнительно недавно на рынке начали появляться доступные умные устройства, функционал которых существенно больше, чем у обычных камер. Обычная камера может просто снимать и передавать видео, например, на удаленный сервер или монитор. Пользователь может просмотреть данные в любой момент, но для полноценного контроля ситуации нужно, чтобы кто-то постоянно следил за обстановкой и принимал решения: нужно ли вмешаться или нет. Все это умеет делать умная камера, существенно экономя время и даже электроэнергию.
Что такое умная камера?
Умная камера – специальное интеллектуальное устройство, которое оснащается достаточно обширным перечнем всевозможных дополнительных приспособлений, датчиками и специализированным программным обеспечением. Обычно умные камеры входят в состав системы умного дома, но могут работать и самостоятельно, просто передавая информацию на смартфон пользователя, где бы тот не находился.
6 причин завести умную камеру в своем доме
Умная камера поможет во многих вопросах. Мы собрали самые весомые причины, чтобы завести такой гаджет у себя дома.
Безопасность
Первое, о чем нужно сказать – это защита жилья от злоумышленников. Умная камера умеет определять, кто находится дома, делать снимки жильцов, узнавать их по лицу и многое другое, что сделает вашу жизнь намного безопаснее. Устройство также отслеживает, что делает тот или иной человек. Если в ваше отсутствие кто-то посторонний проник в квартиру или дом, камера сразу же вам об этом сообщит. Кроме того, устройства умеют различать движение веток за окном, определять животных и так далее, поэтому ложных срабатываний бывает мало. Помимо перечисленного, устройство может включаться только тогда, когда получает сигнал с датчика. Это позволяет экономить энергию.
Родительский контроль
При помощи умной камеры можно следить за тем, что делают дети, когда они дома одни, как ведет себя ваша няня и многое другое. Например, если ребенок вместо уроков смотрит мультики, камера сообщит вам и об этом.
Поиск вещей
Многие сталкивались с ситуацией, когда невозможно найти какой-либо предмет, хотя, казалось бы, его оставили «вот прямо на этом месте». При помощи камеры вы сможете узнать, где именно он находится. Особенно это полезно, когда уборкой дома занимаются нанятые специалисты.
Контроль за животными
Домашние животные иногда тоже прячут ваши вещи, при помощи камеры это можно сразу обнаружить. Кроме того, если интегрировать камеру в состав умного дома, можно с ее помощью определять, когда животных нужно покормить или напоить, передавая соответствующие команды автоматическим кормушкам. Да и наблюдать за животными бывает просто забавно.
Контроль за рабочими
Нередко бывает так, что, например, ремонт ведется только тогда, когда вы следите за рабочими и тем, что они конкретно делают. А если контроля нет, то целый день может быть потрачен на перекуры и отдых. Камера помогает решить и эту проблему.
Наблюдение за пожилыми людьми
Пожилые люди нередко требуют множества внимания и постоянного контроля. Умная камера может отслеживать их действия, уведомлять о нештатных ситуациях и выдавать вам информацию на смартфон.
Заключение
Умная камера постепенно превращается из роскоши в необходимость. Огромное количество полезных функций, особенно при интеграции с системой умного дома, – это то, что существенно облегчит вам жизнь.
Оставьте свою электронную почту и получайте самые свежие статьи из нашего блога. Подписывайтесь, чтобы ничего не пропустить
Умная камера с искусственным интеллектом повышает безопасность, улучшает парковку и дорожный поток.
В прошлом основной задачей камер видеонаблюдения была запись событий. И люди были единственными, кто мог распознавать эти записи. Сегодня они широко используются в системах безопасности и дорожного движения и приобретают все более широкие возможности. Новейшее поколение камер может летать, интерпретировать визуальные данные и даже понимать суть ситуаций.
Модернизация и управление современными городами базируется на актуальных данных, которые собирают сотни миллионов IoT датчиков, установленных по всему миру. Хотя датчиков уже очень много, их число растет в геометрической прогрессии. Одним из видов датчиков, которые обеспечивают богатый массив информации, является камера. С другой стороны, камеры генерируют невероятно большие объемы данных. Эти данные необходимо анализировать в режиме реального времени, в идеале как можно ближе к источнику, чтобы свести к минимуму требования к подключению данных. Именно здесь вступает в игру искусственный интеллект. Он может распознавать отдельные объекты на видео, отслеживать их и классифицировать. Искусственный интеллект превращает камеры в универсальные и широко используемые IoT устройства, становясь фундаментом умных и безопасных городов.
Системы видеонаблюдения и искусственный интеллект
Технология, используемая в камерах, за последнее десятилетие значительно продвинулась вперед. Датчики изображения теперь имеют увеличенное разрешение, скорость объектива, чувствительность, динамический диапазон и широкий спектр других параметров, необходимых для получения высококачественных изображений в любых условиях освещения. Дальнейшее развитие цифровых технологий постепенно открывает новые возможности для их применения. Камеры видеонаблюдения стали глазами центров мониторинга и датчиков немых, специально изготовленных машин. Сейчас мы вступаем в новую эру, когда машины начинают понимать образы. Если вы понимаете смысл изображений, это означает, что вы можете управлять автомобилем, узнавать лица и измерять, анализировать и контролировать окружающий вас мир. С приходом глубокого обучения способность машин интерпретировать визуальные данные вышла на совершенно новый уровень. С помощью массивно параллельных вычислительных систем, моделирующих адаптируемые биологические нейронные сети, внезапно стало возможным решать задачи, которые ранее было трудно понять машинам, такие как обнаружение транспортных средств или понимание сути визуальных сцен. В каких ситуациях можно использовать умные камеры?
Интеллектуальные системы камер видеонаблюдения
Во многих областях резкий рост автомобильного движения, наблюдаемый в последние годы, превышает возможности транспортной инфраструктуры. Однако загруженность дорог не является достаточно сильным импульсом для того, чтобы автомобилисты перестали пользоваться автомобилями и стали пользоваться общественным транспортом чаще. Увеличение пропускной способности дорожных сетей за счет строительных работ является чрезвычайно дорогостоящим и трудоемким решением. Другим способом улучшения транспортного потока на существующих дорогах является обеспечение более эффективного управления дорожным движением. Ключевым элементом решения является адаптация светофоров на оживленных перекрестках, то есть изменение планов светофора в зависимости от текущей дорожной ситуации. Интеллектуальные перекрестки используют сеть датчиков для постоянного измерения и оценки спроса на «зеленый свет», регистрации долгосрочной статистики и связи с системой управления. Обычно используемые типы датчиков, такие как индукционные петли или радарные блоки, также могут быть заменены системой умных камер. Дорожные умные камеры могут обнаруживать транспортные средства, а также пешеходов и велосипедистов, которые оказывают значительное влияние на движение транспорта. Интеллектуальные системы камер могут маркировать объекты, а затем передавать этикетки другим камерам. Это позволяет им отслеживать объекты и записывать их полную траекторию через перекресток (в виде матрицы O/D). Система управления, которая анализирует зарегистрированные траектории, автоматически идентифицирует загруженные участки, дорожные конфликты или аномалии (например, аварии или остановленные транспортные средства). Кроме того, умные камеры могут также транслировать видео в реальном времени для визуального контроля в центрах мониторинга дорожного движения или предоставлять видеозаписи, которые могут быть использованы для определения причин дорожно-транспортных происшествий. Эти особенности, вместе с их низкой стоимостью, являются одними из причин, почему камеры становятся все более популярными в этом секторе.
Умная парковка
Рост автомобильного движения не только создает пробки, но и создает проблемы при парковке автомобилей в городах. Существует ряд способов, с помощью которых можно определить наличие свободных парковочных мест, будь то модели прогнозирования или сенсорные решения, предоставляющие данные в режиме реального времени. Что делает камеры с искусственным интеллектом лучше, чем датчики дорожного покрытия? Есть несколько причин. Умная камера работает как единое IoT устройство, охватывающее десятки или даже сотни парковочных мест (в зависимости от планировки парковки). С помощью алгоритмов можно не только определить, занято ли парковочное место, но и классифицировать находящийся там объект. Такое сочетание функций позволяет разработать комплексную политику в области парковки, что повышает эффективность использования парковочных мест (путем мониторинга зарезервированных парковочных мест, обнаружения транспортных средств, блокирующих дорогу и т.д.). Камеры также обеспечивают пассивное повышение безопасности и могут быть связаны с полицией. Алгоритмы позволяют идентифицировать транспортные средства по их номерным знакам, что позволяет проводить политику, которая, например, предоставляет льготы местным жителям. Такой подход также более надежен, поскольку камеры производятся в массовом масштабе и, в отличие от датчиков, этот метод не требует идеальной парковки автомобилей для того, чтобы их можно было обнаружить. Таким образом, если она используется в больших масштабах, умная камера с алгоритмами компьютерного зрения потенциально может быть гораздо более умным решением для парковки, чем технология, используемая в настоящее время.
Умные улицы нуждаются в «умном освещении»
Летающая камера
Smart камеры также стали основным датчиком беспилотных летательных аппаратов, или беспилотников. Дроны дали возможность летать камерам, создав идеальную мобильную систему мониторинга, которая может предложить совершенно новый взгляд на вещи вокруг нас. Просмотр сцены с высоты птичьего полета имеет много преимуществ. Препятствия для обзора сведены к минимуму, и угол обзора обеспечивает идеальную точность определения местоположения наземных целей. Данные из такой системы могут быть настолько точными, что могут быть использованы для углубленного анализа дорожных конфликтов, что позволяют анализировать безопасность перекрестка путем изучения взаимодействия между отдельными субъектами в транспортном потоке на конкретной территории. Эта технология позволяет применять совершенно уникальный подход, практически позволяющий обнаруживать аварии еще до того, как они произойдут. Даже в этом контексте большую роль играет поверхность, которую может покрыть камера, установленная на беспилотном летательном аппарате. Камера с разрешением 4K может охватывать до 700 метров, что является достаточно длинным участком, позволяющим автоматически распознавать агрессивное поведение, нарушения минимального расстояния между транспортными средствами и т.д. Подобно традиционным системам камер видеонаблюдения, которые могут идентифицировать цель по визуальным миниатюрам и положению, даже беспилотники могут быть использованы в большем количестве, чтобы охватить большую площадь, например, городской район. Этот подход уже используется в исследовательских проектах.
Умные камеры современных городов
Бесплатная консультация
Мы бесплатно подберём оптимальное решение для Вашего объекта и разработаем концептуальный проект с оценкой бюджета!
Для уточнения условий предоставления услуги, пожалуйста, обратитесь по бесплатному телефону 8-800 301 24 45, по email: office@intelvision.ru или оставьте контакт и мы свяжемся с вами.
Вы также можете записаться на бесплатную онлайн* видео-консультацию с специалистом компании INTELVISION в удобное для вас время.
*Мы используем бесплатные для вас и удобные инструменты видеоконференций такие как Zoom и Google Meet не требующие установки дополнительного программного обеспечения и работающие прямо из браузера.
Проектирование
Компания INTELVISION выполяет разработку проектной и рабочей документации по инженерными и слаботочным системам, систамам автоматизации и безопасности.
Мы также работаем в среде Audodesk Revit и выполняем проекты с использованием BIM информационного моделирования.
Реализация
Мы внедряем решения на всех этапах: от поставки оборудования до пусконаладки и технического обслуживания.
За 12 лет на рынке компания INTELVISION выполнила более 100 комплексных проектов и зарекомендовала себя как надёжного технологичного партнёра. Компания обладает опытом, технической базой и штатом квалифицированных инженеров и программистов для реализации задач любого масштаба.
Что умеют «умные» камеры домашнего видеонаблюдения?
Камеры «умного» видеонаблюдения позволяют следить за происходящим в квартире или на даче в режиме реального времени с любого устройства — например, смартфона. Похожих внешне устройств на рынке много, но их возможности существенно отличаются. Как понять, какие параметры важны для камер домашнего видеонаблюдения и сделать верный выбор?
Система из коробки
Круглосуточное интеллектуальное видеонаблюдение — это целая система, а не просто стоящая на полочке камера, подключенная к интернету. Именно поэтому пользователю лучше присмотреться к «коробочным» решениям от крупных компаний. Такие камеры представляют собой элементы «умного» дома, при необходимости легко масштабируются и настраиваются.
Для рядового пользователя важно, чтобы камера не требовала длительной настройки, стоила недорого и обеспечивала качественную запись. Среди основных сценариев для такого устройства — удаленное наблюдение за пожилыми родителями, контроль за детьми, нянями или рабочими, которые выполняют ремонт, слежение за домашними животными.
Стандартное «коробочное» решение включает цифровую видеокамеру с инфракрасной подсветкой в ночное время, встроенным микрофоном и датчиком движения. Чем дороже камера, тем выше качество записи и шире функционал. Однако на практике «модные» возможности камер бывают невостребованными.
Оценим возможности такой системы на примере одного из самых удачных решений на рынке — услуги «Видеонаблюдение» от компании «Ростелеком». Услуга представляет собой готовый бюджетный продукт «под ключ». «Ростелеком» предлагает пользователям несколько камер на выбор, мы разберем возможности самой недорогой из линейки — CS-C2SHW.
Технические характеристики камеры CS-C2SHW:
Главная отличительная особенность CS-C2SHW — наличие Wi-Fi, камеру можно подключить к любой сети для передачи данных. Поддерживаются стандарты беспроводного соединения 802.11b/g/n. При этом требования к ширине канала минимальны — для работы нужно соединение со скоростью передачи данных не ниже 512 Кбит/сек.
Видеокамера оснащена удобным шарниром для фокусировки, также она имеет магнитное основание — с его помощью можно легко и просто установить устройство на металл даже вверх ногами без необходимости сверлить и устанавливать крепление. Важно, что камера не требует проводов и легко перемещается при необходимости.
За качество видео отвечает процессор HI3518EV200 известной компании Hikvision, который устанавливается во множество популярных автомобильных регистраторов. Видеозаписи при помощи модуля Wi-Fi отправляются на облачный сервер «Ростелекома», при необходимости ролики можно записывать на «бортовую» MicroSD карту.
Как подключить камеру
Подключенная камера готова для настройки, когда светодиодный индикатор мигает красным цветом. Перед подключением нужно скачать приложение «Умный дом Ростелеком» для смартфонов iOS или Android, оно доступно на Google Play или AppStore, в зависимости от операционной системы. Затем следует авторизоваться или зарегистрироваться в приложении. Также можно авторизоваться с компьютера через сайт «Ростелекома».
Далее последовательность действий следующая:
Беспроводное соединение Wi-Fi:
Распакуйте камеру и подключите питание в соответствии с инструкцией. Когда камера будет готова к считыванию QR-кода, она издаст звуковой сигнал.
После успешного добавления устройства в приложение и его авторизации на экране смартфона или планшета появится картинка с камеры, а индикатор на ее корпусе загорится синим светом. Личный кабинет является общим для пользователей из всех регионов страны, поэтому никаких ограничений при просмотре нет — к примеру, можно улететь в Сочи и спокойно наблюдать за своей квартирой в Новосибирске.
Что умеет «умная» камера
Видеокамера CS-C2SHW фиксирует звук и движение, а также имеет функцию контроля вторжения в обозначенную зону и пересечения линии. Кроме этого, устройство оснащено функцией Push-to-talk — это возможность трансляции голосового сообщения. Как шутят разработчики — пользователь может сказать своей собаке «Фу!», даже если находится на работе.
Система легко масштабируется — в личном кабинете разрешено подключать неограниченное количество камер, при этом они могут быть установлены где угодно — например, пользователь может одновременно наблюдать происходящее в помещениях из разных городов, трансляция видео ведется в режиме реального времени.
Ролики по умолчанию доступны для просмотра в течение семи дней, а помеченные записи сохраняются в облачный архив, который доступен в течение месяца. В карточке видеокамеры отображается плеер, пользователь может можно сделать скриншот, сохранить или скачать видео на локальные носители.
Видео также можно перематывать вперед и назад, ставить на паузу, переключаться между прямой трансляцией и просмотром видео из архива, включать или выключать микрофон, менять ширину потока и настройки качества видео, удаленно настраивать поворот камеры, а также выбрать режимы, при которых от устройства будут приходить уведомления.
По умолчанию камера будет посылать пользователю уведомления по определенным сценариям — пересечение указанных линий, движение в зонах, фиксация шума. В настройках доступна градация чувствительности датчика движения — от низкой до высокой. Также пользователь может задавать конкретные зоны и линии, принудительно записывать видео по команде.
Сценарии использования
Большинство пользователей устанавливают системы видеонаблюдения ради безопасности — ведь это фактически недорогой охранный комплекс. Как только кто-то попытается проникнуть в помещение, владелец получит уведомление и подтверждающее видео, после чего сможет вызвать полицию.
Однако в реальности полезных сценариев для «умной» видеокамеры множество. Например, если родители оставляют маленького ребенка с няней, видеонаблюдение позволит узнать, выполняет ли она свои обязанности качественно или спустя рукава, ведь сам малыш вряд ли что-то расскажет маме с папой.
Если в доме дети-школьники, система видеонаблюдения сыграет роль «электронного опекуна» — родители всегда могут проследить, чем заняты их отпрыски, делают ли уроки, не расшалились ли без присмотра. Функция Push-to-talk позволит даже прикрикнуть на детишек, если они затеяли что-то запрещенное.
Еще одним сценарием может быть контроль за проходящим в квартире ремонтом. Под «прицелом» видеокамер бригада строителей будет работать куда быстрее, ведь теперь владелец жилья сможет удаленно следить за временем прихода и ухода работников с объекта, а также длительностью разного рода перерывов в работе.
Пользователь также может удаленно наблюдать за престарелым родственником, если он требует присмотра. Наконец, с помощью «умной» видеокамеры можно следить за домашними животными — некоторые собаки или кошки устраивают целые представления в ожидании своих хозяев. Кстати, подобные курьезы можно сохранить в свою коллекцию или опубликовать на YouTube.
Подведем итоги. При выборе камеры для домашнего видеонаблюдения лучше смотреть на «коробочные» решения. Они проще, гибче и безопаснее. Такую систему буквально за полчаса развернет и подключит даже далекий от компьютерной техники человек. Современные бюджетные камеры обладают достаточным функционалом для большинства сценариев использования.
Как устроены умные камеры? Разбор
Сегодня мы поговорим о том, как работают умные камеры.
Как они узнают лица, понимают жесты и даже создают объекты дополненной реальности.
Что такое умная камера?
Когда мы говорим «умная камера», что приходит на ум?
Пожалуй, одно из самых ярких проявлений это Microsoft Kinect для Xbox, анонсированная аж в 2010 году.
Эта штука серьезно изменила мир игр и была домашним хитом у многих. Kinect умел очень точно и главное быстро распознавать игрока, его движения и позу. Игра реагировала на его движения – контроллер был не нужен.
Как это работало 10 с лишним лет назад? Как можно было понять силуэт и позу человека, используя только камеру?
Основной фишкой Microsoft Kinect было наличие двух камер. В пару к обычной у него была инфракрасная камера, но очень непростая. Третий глазок на корпусе – это инфракрасный излучатель, который работал в паре с камерой.
Фишка в том, что он светил в комнату сеткой инфракрасных точек. Но самое главное — эти точки были организованы в уникальный паттерн. Поэтому, при сканировании сетки камерой, мы знаем, какой области изображения соответствует каждая группа точек.
Дальше, по искажению этого известного ему паттерна, Kinect понимал, на каком расстоянии та или иная точка находится. Круто, да? Эта технология еще называется structured lighting.
Как дальше развивались технологии? Еще олды могут вспомнить аксессуар под названием Leap Motion, вышедший в 2012 году. Помните, такая маленькая штучка, которая очень хорошо понимала жесты рук.
Там похожий принцип, но усовершенствованный. Там было целых три инфракрасных излучателя и 2 инфракрасные камеры. Все это могло распознавать объекты еще точнее.
Умная камера сейчас
Но к чему мы об этом? Технологии развиваются. И сейчас уже такое навороченное решение не нужно. Алгоритмы могут справиться с такими задачами при помощи обычной камеры. Причем одной. Как?
Давайте выяснять. Но сперва начнем с чего-то попроще, чем жесты. С распознавания лица.
Распознавание лица
Почему? Как ни парадоксально, научить компьютер распознавать лицо проще, чем многие другие объекты. Давайте посмотрим, как это происходит.
Итак, давайте представим: у нас есть картинка, на которой где-то есть человеческое лицо, и может быть не одно. Как его найти?
На первый взгляд задача несложная. Почти все лица в мире имеют схожие черты: два глаза, нос, губы. Алгоритм нетрудно натренировать искать нечто похожее. На выходе мы должны получить Лицо, размеченное точками, между которыми измеряются расстояния. В базовом варианте – это всего 5 точек. Это называется Snapshot лица. И этого уже достаточно для весьма точной идентификации пользователя. Но нюанс заключается в том, как это делать?
Классическая технология распознавания лиц устроена по принципу Sliding Window, когда изображение разбивается на прямоугольные сектора и в каждом ищется нечто похожее на лицо. Но с этим есть проблема: в зависимости от размера ячеек в каждую может попасть одно лицо, несколько лиц или вообще часть лица.
Сегодня разбираем эти технологии на примере устройства SberBox Top. Это умная медиаприставка с камерой для телевизора, которая умеет много всего. Но ключевое для нас — это наличие одной камеры, через которую происходит взаимодействие с устройством.
В этом устройстве используется технология RetinaFace. Здесь реализован более крутой подход — это Image Pyramid. Тут один и тот же фрагмент изображение анализируется как бы с разным масштабом — участки анализируются с разной крупностью, чтобы не прошляпить лицо. Но есть и проблема – объем данных для анализа конечно увеличивается. Вместо одной картинки на сектор – целый массив. И этот массив как раз выглядит как пирамида.
Следующим шагом идёт так называемое извлечение дескрипторов. По-русски – создание слепка лица или «снепшота»: тех самых точек с координатами: глаза, кончик носа, уголки рта. Для этого найденное лицо вырезается по координатам из исходного изображения и выравнивается.
В целом, это похоже на то, как Android-смартфоны без инфракрасных датчиков разблокируют смартфон по лицу.
И главное – все происходит локально. Хранение снимка лица (а точнее, его математическое представление) и его сравнение делается на устройстве. Причем одновременно может обрабатываться несколько лиц. Внутренние требования по распознаванию: 5 человек на расстоянии до 5 метров.
А зачем это нужно? Прежде всего для персонализации, что актуально для устройств, которые находятся в квартире в общем доступе. Один из чувствительных примеров – оплата без использования смартфона или пульта на SberBox Top. При покупке устройство выводит 6-значный код, который надо просто прочитать. А дальше оно идентифицирует пользователя по двум параметрам: лицу, что мы уже обсудили, и по голосу (там похожий алгоритм, только со звуком). По сути, такая домашняя двухфакторная авторизация. Естественно, сперва такой метод оплаты надо активировать в приложении.
Дополненная реальность
Другое применение распознавания лица – это дополненная реальность. Но важно, что здесь включается другая модель. Она тоже заточена на поиск лица, но уже размечает его трехмерном пространстве. Это называется 3D mash головы и он состоит из около 70 точек. Что-то вроде масок в Instagram.
Например, есть очень эффектные сказки в AR — называются Чудо-Книжки. Здесь на 3d mash накладывается маска персонажа. Ее даже можно передавать другому, если рядом кто-то сидит. А весь рендер происходит локально на графическом процессоре Mali G52.
Жесты
Но одно дело лицо, а другое — более сложные объекты. Жесты. Давайте разбираться с ними.
Это действительно непросто, производители не торопятся внедрять такое управление в устройствах. Но сперва. Почему жесты?
Такие интерфейсы давно появились в научной фантастике. Можно вспомнить «Особое мнение», «Железного человека» и других. Ретрушники вспомнят и «Джони Мнемоника».
Давайте вспомним про наше взаимодействие с устройствами. Первым и самым надежным способом ввода долгое время был кнопочный интерфейс. И первым значимым переходом стало появление iPhone и современных мобильных операционных систем, которые перешли на сенсорное управление.
Причем с ними тоже интересно, ведь основная часть взаимодействия все еще происходит через нажатие виртуальных клавиш. Но жестов явно становится больше: pinch-to-zoom, свайп вверх для перехода на домашний экран.
Но почему жесты являются для нас более естественными? Когда мы хотим что-то сделать, обычно мы предпринимаем физическое действие: идем, чтобы оказаться на кухне, открываем холодильник, чтобы достать продукт, протягиваем руку, чтобы взять колбасу и так далее. То есть наше намерение что-то сделать почти всегда сопровождается каким-либо физическим действием. И в этом смысле жест, движение по экрану куда более логично, чем статическое нажатие кнопки «Вкл/выкл». Поэтому переход к жестам кажется таким же интуитивным как переход от кнопок к сенсору.
Ладно, достаточно философии. Как на картинке с камеры обнаружить руку с жестом?
Оказывается, существуют алгоритмы, которые умеют распознавать в видеопотоке и человеческую ладонь. Методы там примерно такие же, как с лицом. Например, у Google есть своя открытая библиотека Google MediaPipe: первым делом в кадре ищется сама ладонь, она обычно имеет форму четырехугольника. Затем к ней находятся пальцы.
Но и тут есть свои нюансы. Одно дело тестировать распознавание в тепличных лабораторных условиях. Или в стеклянном опенспейсе, где сидят сами разработчики. А другое, когда устройства доходят до гостиных и кухонь реальных пользователей. И тут могут быть совершенно непредсказуемые срабатывания. Для того, чтобы решить проблему нужно сперва натренировать нейронку на огромном количестве примеров.
Для этого создатели SberBox Top специально собрали большой датасет реальных пользовательских сценариев, так как на открытых данных достаточного качества добиться было бы невозможно. Пришлось даже организовывать референсные съемки и нанять актеров, чтобы получить релевантные кейсы в реальных интерьерах.
На данный момент устройство распознает четыре типа жестов: «виктори» или буква V — для активации ассистента, открытая ладонь для Play/Pause — мой любимый, и лайк/дизлайк для треков.
Кстати, все видео со съёмок прогоняли через нейронку и тренировали ее. Этим занимался суперкомпьютер Кристофари – один из самых мощных в России. Он работает на базе 16 графических процессоров NVIDIA Tesla. Интересно, что недавно у Сбера появился обновлённый и более мощный Кристофари Нео. Но это другая история…
В общем, для корректной работы жестов нужна обученная нейросеть. Что это такое? Если очень грубо, то это что-то вроде такой матрицы, которая условно говорит: если вы видите такие-то пиксели, то это скорее всего такой-то жест, например «лайк».
Далее эту модель оптимизируют для работы на компактном устройстве. В таком виде она занимает несколько мегабайт. Внутри SberBox Top стоит шестиядерный процессор Amlogic A311D (2x Cortex-A53, 4x Cortex-A73). На чипе есть и NPU для нейросетевых задач.
Кстати, все устройство оптимизировано, чтобы обеспечить максимальную производительность в таком форм-факторе. Поэтому про нагрев тоже подумали. Тут есть интегрированный радиатор с теплопроводной медной трубкой.
Что насчет точности? Честно говоря, еще год назад, когда на устройствах Сбера только запустились жесты, они уже работали неплохо. Но все же периодически были ошибки и полностью полагаться на них нельзя было, но сейчас точность значительно выше. На данный момент заявляется точность в 95-97%.
Из ста разных жестов для теста у меня не сработали жесты трижды: причем два из них на жест дизлайк. То есть точность 97 процентов в моем тесте. Понятно, что в нашей студии достаточно комфортные для алгоритма условия с хорошим светом. Но все равно результат крутой. Часто простой жест рукой намного удобнее, чем произносить аналог команды.
Отслеживание позы
Но это еще не все. Кроме жестов рук, умная камера может определять и наши позы. Зачем? Ну например, это пригодится в приложении по занятиям йогой. И оказывается, это еще интересней устроено. Здесь тоже большой скачок произошел в эпоху развития Kinect.
Смотрите, в итоге после обработки алгоритм получает примерно такое изображение с силуэтом человека. И по сути наша задача сводится к тому, чтобы преобразовать картинку с силуэтом в информацию о положении тела человека.
Как это может выглядеть?
Оказывается, наше тело можно описать по положению основных точек тела, совпадающих анатомически с ключевыми суставами и углами поворота ключевых суставов. Если мы знаем под каким углом загнут локоть, шея и так далее, то мы можем описать человеческую позу при помощи примерно 40 чисел. А чтобы построить простой скелет хватить 17 точек. Прикольно, да?
Но как это посчитать? Тут начинается самое интересное… Есть несколько технологий.
В ходе исследований выяснилось, что можно сделать следующее. Возьмем силуэт человека на картинке. Что можно про него сказать? Можно посчитать площадь, да. Можно посчитать периметр этой фигуры, его высоту, ширину и записать все эти значения в массив. Получится несколько десятков чисел, которые описывают это пятно.
Более того есть еще одна фишка. Камера отслеживает нас непрерывно. А наше тело не может мгновенно перейти из одной позы в совершенно противоположную. Оно проходит через фазы. И компьютер это знает, поэтому понимает, какая поза может оказаться следующей, а какая точно нет. Сейчас есть и более простые и точные технологии.
Нужно собрать набор картинок с людьми в разных позах, дальше они размечаются вручную в специальной программе. Этим также занимается суперкомпьютер Кристофари, один из самых мощных в России. Он работает на базе графических процессоров Nvidia Tesla. Затем на датасете обучается нейросеть, и так она сама начинает понимать, где находится какой участок тела.
Здесь это используется, в том числе в игре Beat Dancer. Или при умном зумировании во время видеозвонков. Примерно как в последнем iPad Pro. Правда здесь эту фишку представили год назад.
Камера
И все это реализовано благодаря одной только камере. Никаких инфракрасных датчиков. Кстати, в SberBox Top у нее есть механическая шторка, если вы за превентивную безопасность.
Камера тут и правда очень неплохая. Ее разрешение 3840 x 2160, что в четыре раза выше, чем у большинства ноутбуков. А угол охвата 120°. Сама оптика и модуль спроектированы таким образом, что при длительной работе камеры и ее неизбежном нагреве оптические параметры не “уплывают”. К примеру, обычная камера не рассчитана на непрерывную работу 24/7. Но это уже другая история…