какое определение лучше всего описывает гарнитуру ar

Концепция очков дополненной реальности. Моя идеальная AR гарнитура, которая возможна

Всем привет! Меня зовут Дядиченко Григорий, и я основатель и CTO студии Foxsys. Недавно мне пришла в голову идея интересная концепция AR очков, которые могут быть нужны пользователю. Многие недооценивают некоторые аспекты с точки зрения удобства использования и пользовательского опыта. Если вам интересна данная тема, добро пожаловать под кат.

Чтож, чтобы написать концепцию надо сначала посмотреть на текущие решения на рынке и текущие технологии, чтобы понимать почему то, что существует сейчас совершенно не нужно пользователю. Мы достаточно долго занимаемся AR/VR разработкой, и успели поработать со многими AR/VR технологиями, технологиями трекинга и т.п, а так же провести эксперименты с точки зрения пользовательского опыта. Это чисто бизнес история, и дело не столько в цене. Но об этом чуть позже.

Существующие очки

За время работы с Hololens, Magic Leap и другими устройствами становится всё больше понятно, что это бизнес устройства. Они могут решать только конкретные задачи. В сущности, большая часть работы человека сейчас связана с вводом текстовой информации, с которыми у этих решений есть проблемы. В меджик липе вроде можно вводить текст с телефона, а вот в hololens на уровне операционной системы — нет.

Голограммы — это конечно прикольно, но это частные случаи. Так как сейчас, если анализировать сколько времени средний человек проводит в каких приложениях, это по большей части почта, соц. сети и месенджеры. Все остальные приложения на телефоне уже зависят от конкретной личности: интересы, профессиональная деятельность и т.п. Голограммы — это либо конкретные b2b задачи, или развлечения типа игр. Что важно, но не является предметом первой необходимости в повседневной жизни.

Проблемы существующих очков

Сначала разберём основную проблему — текстовый ввод. Голосовой ввод — неудобен во многих случаях, особенно в публичных местах. Забудем про то, что работает он неидеально. Я думаю вы не захотите произносить вслух некоторые детали переписок или банальные пароли от сервисов. Плюс он довольно медленный по сравнению с клавиатурным 10-ти пальцевым вводом. Даже если бы существовал идеальный распознаватель речи — это история про то, когда вы сидите дома, причём в одиночестве. Так как это вопрос приватности, если это не простые команды отдаваемые очкам, а личная переписка.

Ввод жестами, трекинг рук. Сейчас пошёл какой-то нереальный ажиотаж на трекинг рук, который меня поражает. Он красиво смотрится в фильмах и на картинках (Сразу вспоминается “Особое мнение”) Но, что с точки зрения отправки простых команд — кнопки удобнее жестов, что с точки зрения текстового ввода — даже клавиатура телефона будет удобнее, чем ввод текста в воздухе без какого либо тактильного отклика. Поэтому зачем изобретать велосипед, если есть телефон в виде почти идеального пульта управления очками и вспомогательного устройства? Так же, как и на телевизоре можно вводить текст с IPhone, если у вас есть Apple TV. Так же почему бы не перенести этот опыт на очки. Да, должна быть “неудобная альтернатива”, если скажем телефон не в доступе и далеко, а вы не торопитесь. Но на уровне операционной системы синхронизация с мобильным устройством должна быть в каждых очках дополненной реальности.

FOV (Field of view или поле зрения) — немного переоценённая проблема. В будущем в цикле выхода новых устройств, чтобы их было смысл покупать это то, чем могут меряться производители. В данный момент времени FOV достаточен для решения многих задач, и основной задачи, для которой я хотел бы иметь себе AR очки.

Вес. Большинство очков действительно тяжёлые, но с тем, какими темпами развивается перенос расчётов в облако и технологии интернета — эта проблема может решится в скором времени, вместе с энергоэффективностью. Локальным вычислительным центром может являться телефон, так как если вы покупаете себе AR гарнитуру (за скажем 1-2к$), то вероятно у вас есть флагманский смартфон, обладающий очень хорошей мощностью.

Цена. И вот тут хочется начать рассказывать про основную идею концепта. По долгу службы я работаю за ноутбуком, и работаю удалённо. Долгое время я мечтал об идее: “самое компактное рабочее место, которое можно быстро создать в любой точке мира”. И по сути всё упиралось в одну деталь: в реальности невозможно уменьшить дисплей ноутбука до размеров небольшого устройства. Так как это получится телефон. Даже сейчас периодически с планшета с клавиатурой подключенного по какому-нить RDP, мне удобно проводить код ревью, править мелкие баги или писать небольшие скрипты. Но в AR можно создать дисплей любого размера, при этом если очки по форм фактору могут занимать места в разы меньше, чем средний ноутбук. Возвращаясь к стоимости, наша команда работает со сложной компьютерной графикой. Поэтому мой ноут (коих ещё и два, так как нужны и Windows, и MacOS) стоит больше 2к$. Если бы у меня были очки + телефон с подключением по RDP или другому протоколу с подпиской для работы — это было бы идеально. Так как мощность можно было бы изменять под текущую задачу. Запускать системы запекания света или тяжелого рендера, просто оплачивая их с карты для работы. И это мечта.

Вот теперь можно описать сам концепт.

Концепция идеальных AR очков

По сути моя мечта — это максимально компактное удалённое рабочее место, чтобы не носить с собой тяжёлый ноутбук. Можно сказать, что это частный случай — программисты. Но на самом деле большое количество профессий связано с тем, что нужно удобное устройство для текстового ввода. Это связка двух устройств. Телефон + очки.

Проблема текстового ввода решается тем, что телефон превращается в пульт или полноэкранную клавиатуру в зависимости от задачи. Очки же выступают в роли монитора произвольной диагонали. Набор датчиков — стандартный IMU (акселерометр, гироскоп, магнетометр). Чем больше будет угол обзора, тем лучше, но основное это читаемость текста и яркость на улице. Так как у текущих очков с улицей есть некоторые проблемы. Я уверен, что с таким набором функций станет удобно решать много задач. Написание статей и копирайтов, написание кода, подключение к серверу и отображение консоли для дебага и метрик мониторинга. При этом исчезнет необходимость с собой носить устройство весом 2кг+, которое занимает достаточно много места в сумке.

По сути в “минимальной комплектации” очки — это просто устройство вывода, дисплей. Потом уже поверх можно накручивать голограммы и прочие “рюшечки”. Вычислительным центром может выступать телефон. По сути аналог DEX, только разворачивающий ОС для работы с AR гарнитурой. Хочется всего и сразу, вроде распознавания окружающего мира и прочих функций, но по сути они не являются обязательными. И на текущем уровне развития технологий просто виртуальный дипслей для работы звучит чем-то реалистичным. Многие очки монокуляры таким образом и работают (тот же старый добрый Google Glass), но всё же это не полноценные дисплеи.

Если вспомнить первые рекламные ролики Apple, там не было миллиона приложений, функций или чего-то подобного. Это был IPod, почта, телефон, карты и браузер в одном флаконе с удобным управлением.

Источник

AR-очки в 2019 году. Рекомендации по выбору

Вступительное слово. Разницы между AR-очками и гарнитурой нет. Это синонимы. Также как нет разницы между VR-очками и шлемами. Поэтому в тексте будет использоваться оба равнозначных варианта: AR-очки и AR-гарнитуры.

Каталог AR-очков в нашем магазине REC360.ru доступен по следующей ссылке.

Технология дополненной реальности (AR) накладывает поверх реального мира цифровой контент, который воспринимается пользователем через носимые AR-очки со встроенными дисплеями. Таким образом, дополненная реальность расширяет возможности пользователя по взаимодействию с окружающим миром, но при этом не заменяет его, как это делает виртуальная реальность (VR). Именно благодаря этой особенности AR-технологии считаются самыми перспективными в плане потенциала для массового использования в будущем.

Сегодня AR-сегмент получает инвестиции от многих технологических гигантов, которые вкладывают средства как в оборудование, так и в разработку различного прикладного ПО и SDK-комплектов для сторонних разработчиков. Кроме того, современные AR-приложения могут легко интегрироваться на смартфоны, которые уже есть сегодня практически у каждого.

Как проходил отбор AR-очков

В ходе подготовки данного материала был тщательно изучен существующий рынок AR-гарнитур. За основу брались доступные в открытых источниках обзоры и рейтинги из четырех зарубежных источников:

После чего данные обрабатывались через сервис Aniwaa и при необходимости дополнялись сведениями из экспертных и краудсорсинговых обзоров.

Примечание: Рынок носимых гаджетов предлагает множество смарт-устройств или 2D-видео очков, которые используют встроенные микродисплеи для таких функций, как показ видео на ходу и т.п., но этот рейтинг сфокусирован на смарт-очках с полноценной поддержкой AR.

Примечание 2: Гарнитуры в списке отсортированы в алфавитном порядке. Не по суммарном рейтингу, цене, характеристикам и др.

Примечание 3: По вопросам стоимости, наличия, сроков поставки AR-гарнитур в России, свяжитесь с нами любым удобным способом на следующей странице.

Классификация AR-очков

AR-гаджеты доступны в трех основных категориях:

На рынке и в нашем рейтинге доминируют носимые смарт-очки. Они являются самыми доступными AR-устройствами, но пока что большая часть из них все равно ориентирована на коммерческих и корпоративных пользователей, хотя в рейтинге представлены представители разнообразных ценовых категорий.

Примечание: Некоторые VR-гарнитуры (например, VIVE Pro или Sensics zSight) также имеют встроенные возможности AR, но в этот рейтинг они не включались.

1. Epson MOVERIO BT-300

Страна производитель: Япония
SDK: Открыт

Очки Epson MOVERIO BT-300, также известные как MOVERIO BT-300 FPV, ‒ это качественная интеллектуальная гарнитура с впечатляющими характеристиками и доступной ценой. Их дисплей с HD-матрицей и встроенная 5-мегапиксельная камера уже получили множество положительных отзывов от пользователей по всему миру. Кроме того, у данной гарнитуры есть собственный магазин ПО Epson Moverio Apps Market, который предоставляет доступ к дополнительным материалам и полезным приложениям.

Минусы:

2. Everysight Raptor

Страна производитель: Израиль
SDK: Закрыт, будет открыть позже
Купить »

Наибольшим спросом у покупателей пользуются AR-очки для велосипедистов, а Everysight Raptor – это одно из лучших устройств в данном сегменте. В их пользу говорит не только развитый базовый функционал, но и длительное время автономной работы, наличие высококачественной фронтальной камеры и множество вариантов подключения, таких как Bluetooth, Wi-Fi, ANT+, GPS и ГЛОНАСС. Дополнительно гаджет снабжен удобным контроллером Everysight.

Минусы:

3. Google Glass Enterprise Edition

Страна производитель: США
SDK: Открыт

Очки Google Glass Enterprise Edition, также известные как Google «EE», представляют собой обновленный вариант смарт-гарнитуры для Google Glass и Google Glass Explorer. Разработчики выслушали мнения покупателей предыдущей версии и внесли ряд обновлений, в частности добавив поддержку GPS, более быстрый и надежный модуль Wi-Fi, более мощный процессор и модернизированную камеру. Однако стоит отметить, что это AR-устройство предназначено в первую очередь для пользователей из среды бизнеса и производства.

Минусы:

4. Kopin SOLOS

Страна производитель: США
SDK: Закрыт
Купить »

Kopin SOLOS – еще одно AR-устрйоство, разработанное специально для любителей спорта: велосипедистов, бегунов и триатлонистов. Помимо доступной цены, эта AR-гарнитура выделяется возможностью измерять производительность пользователя, например, затраченное на тренировку время, скорость движения, мощность и частоту сердечных сокращений. Таким образом, Kopin SOLOS предлагает широкий спектр специализированных функций в дополнение к традиционному использованию аудио, видео и AR-приложений.

Минусы:

5. Meta 2

Страна производитель: США
SDK: Открыт

Meta 2 – это стационарный AR-шлем с фантастическим для данного типа устройств углом обзора в 90 градусов. Также Meta 2 один из немногих гаджетов, которые позволяют пользователям прикасаться и взаимодействовать с голографическим контентом. Однако, для работы гарнитуры требуется кабель для питания, а также передачи видео и прочих данных с ПК или ноутбука.

Минусы:

6. ODG R-7

Страна производитель: США
SDK: Открыт

AR-гарнитура ODG R-7 предназначена для профессиональных и промышленных пользователей. Она представляет собой смарт-очки, оснащенные двумя прозрачными стереоскопическими дисплеями с разрешением 720p каждый. Также гаджет дополнен набором различных вспомогательных датчиков. Стоит добавить, что компания ODG выпускает и иные версии данной гарнитуры: R-7HL предназначена для экстремальных условий использования, а модификации R-8 и R-9 имеют больший угол обзора, но при этом сниженную цену и ориентированы на рядовых пользователей.

Минусы:

7. Toshiba dynaEdge AR100 Viewer

Страна: Япония
SDK: Открыт

Гаджет Toshiba dynaEdge AR100 Viewer также ориентирован на профессиональных пользователей. Это устройство работает в комплекте с мини-ПК Toshiba dynaEdge DE-100 на базе Windows 10 и питается от внешней батареи. Среди многочисленных функций стоит особо выделить микрофоны с шумоподавлением и программируемые кнопки, которые позволяют персонализировать навигацию по программному обеспечению.

Минусы:

8. Vuzix Blade Smart Glasses

Страна производитель: США
SDK: Открыт
Купить »

Смарт-очки Vuzix Blade – это AR-гарнитура, которая работает со смартфонами под управлением ОС Android или iOS. Эти носимые очки дополненной реальности оснащены 8-мегапиксельной HD-камерой, тактильной обратной связью, микрофонами с шумоподавлением и интегрированными аккумуляторными батареями. Также компания Vuzix производит AR-очки M100, M300 и iWear.

Минусы:

9. ThirdEye Gen X1

Страна производитель: США
SDK: Открыт

ThirdEye Gen X1 – очки дополненной реальности, совместимые со сторонними приложениями AR и VR. Предназначенные для профессионального и образовательного использования, эти AR-очки могут передавать данные о направлении зрения пользователя посредством видеосвязи и звука в режиме реального времени, чтобы обеспечить возможность оказания удаленной помощи. Они обладают отличным временем автономной работы (до 8 часов), но при этом можно переключиться на внешние батареи.

Минусы:

10. Vuzix M300XL

Страна производитель: США
SDK: Открыт
Купить »

Vuzix M300 – AR-очки, предназначенные для использования на производственных предприятиях. Они снабжаются большим объемом памяти (64 ГБ), имеют широкий спектр возможностей подключения, голосовое управление и трехосевое отслеживание движений головы, а собственная платформа VUZIX Basics Apps предлагает разнообразный контент для любых производственных и образовательных целей. Кроме того, умные очки Vuzix M300 совместимы с устройствами на Android и iOS. Отметим, что компания Vuzix также предлагает смарт-гарнитуры M100, Blade Smart Glasses и iWear.

Минусы:

На что обращать внимание при выборе AR-очков?

Планируя покупку AR-очков обязательно стоит проверить, какие AR-приложения и платформы поддерживает выбранная модель. Современные SDK-комплекты, такие как ARCore для Android или ARKit для iOS, позволяют разработчикам постоянно создавать новые способы использования дополненной реальности и взаимодействия с ней, что в свою очередь дает пользователям возможность обновлять функционал своих устройств для еще большего погружения в дополненную реальность. Среди самых популярных поддерживаемых SDK стоит выделить:

Впрочем, важно обратить внимание и на такие рабочие параметры как время работы батареи и угол (поле) зрения (FOV). Чем выше значение FOV, тем больше пользователь может погрузиться в дополненную реальность и увидеть больший объем информации на экране. В этом плане AR-гаджеты пока ощутимо отстают от VR-гарнитур, среднее значение FOV для которых составляет около 100 градусов, что значительно выше, чем могут предложить даже самые дорогие AR-очки.

Что касается батареи, то большая автономность обеспечивает более длительное использование смарт-очков, что заметно расширяет сферу их применения и удобство для самого пользователя. Существует целый ряд способов увеличения автономности AR-гарнитур, включая сменные или перезаряжаемые аккумуляторы, внешние источники питания и т.д. У каждого из них есть свои плюсы и минусы.

Среди прочих требований к современным AR-очкам стоит также отметить:

Источник

AR-гарнитура Apple: возможности и сфера использования

Ведомство по патентам и товарным знакам США одобрило компании Apple патентную заявку, в которой описано устройство с поддержкой дополненной реальности. В документе раскрываются сферы применения такого гаджета.

Судя по описанию, это AR-гарнитура, которая возвращает нормальное зрение людям, которые в силу пожилого возраста или заболеваний плохо видят. К примеру, если у человека сильно сужен угол обзора, перед ним может отображаться то, что он не видел бы в обычных условиях. Гарнитура также может постоянно держать перед взглядом изображение определённого объекта, даже если человек отвлекается на другие вещи. Люди с нормальным зрением смогут использовать эту гарнитуру в качестве бинокля или увеличительного стекла.

AR-гарнитура Apple будет использовать сложную компьютерную обработку изображения, модифицируя его в реальном времени. Подобным образом в iOS 13 производится отслеживание и корректировка взгляда пользователя в FaceTime так, чтобы казалось, что он смотрит на вас, а не на экран, когда вы разговариваете.

На иллюстрации в патенте пользователь держит AR-гарнитуру перед собой, как смартфон или планшет. Это означает, что речь может идти не о смарт-очках, а, например, о дополнительном модуле к мобильному устройству.

Источник

AR — Дополненная Реальность (статья плюс ролик)

Это популяризаторская статья. В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций.

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.

Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).

В дополненной реальности виртуальные объекты проецируются на реальное окружение.

Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.

Смешанная или гибридная реальность объединяет оба подхода.

То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный. Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе «Главный ключ» описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.

Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. Отцом виртуальной реальности считается Мортон Хейлиг. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. 28 августа 1962 года он запатентовал симулятор Sensorama. Сам Хейлиг еще называл его театром погружения.

Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией. Обоснование ее существования давалось такое:

«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»

Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч». И это была первая система уже именно дополненной реальности на основе головного дисплея.

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности. Хотя правильнее было бы назвать это проектом интерактивного окружения.

Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Это изобретение стало основой для будущих проектов, но массово не использовалось.

Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды. Там ЭйАр до сих пор используется таким образом.

В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки. Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр.

В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. О «волшебной желтой линии» есть старый сюжет.

В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.

И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). В ней использовалась система распознавания положения и ориентации камеры в реальном времени. Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.

Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.

С распознаванием образов все более-менее понятно. Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке.

Вторая часть — это отслеживание маркеров. Маркерами могут выступать как специально напечатанные изображения, так и любые объекты.

Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона. В этом случае сама обложка и есть маркер.

Со специальными маркерами все обстоит еще проще. Допустим, мы хотим примерить автомобилю новые диски. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты.

Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.

Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

Звучит сложно. В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее.

Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.

Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Он дает приложению понять, где находится пользователь. Но намного хуже подходит для опознания, например, медведя на картинке.

Для максимальной эффективности оба подхода объединяют для конкретной задачи. Что приводит нас к современной ситуации.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.

Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Но Кэмерон сильно опередил время, т.к. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. Идеалом виделись форм-факторы контактных линз или очков. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов.

Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Виртуальная среда практически не взаимодействовала с реальной. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Правда, только для разработчиков и журналистов. Продукт сложный, его до сих пор разрабатывают. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой.

Хололенс не требуют подключения к другому ПК или телефону. У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром.

Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон. Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах.

Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.

Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно. Это — компания Magic Leap.

Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком. Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт.

Но информация все-таки просочилась. А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов.

Но пока ЭйАр в основном встречается в телефонах. Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО.

Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. То есть — развлечения. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;

Google Translate умеет переводить текст, который видит камера, в реальном времени;

Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;

Google Sky Map помогает узнать, какие звезды сейчас видно на небе.

Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:

А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.

Вы наверняка играли в шутеры от первого лица. Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа?

В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк. Он так и назывался: ARQuake.

В наше же время можно и самому стать героем шутера. Например, в игре Father.IO. Такие проекты появляются все чаще.

В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности. Попробуйте его ночью в каком-нибудь подвале — не забудете.

В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе.

Настольные игры получили новую форму благодаря технологии.

Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

Именно развлечения сегодня развивают исследовательскую базу дополненной реальности. А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.

Ну и реклама. Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. А свежесть и новизна формата обеспечат вау-эффект. ЭйАр появилась даже в печатных изданиях. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.

Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.

А обложки, к слову, есть не только у журналов и книг. Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить.

Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы. Даже граффити не осталось в стороне от ЭйАр-технологий.

ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.

Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м. Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные интерактивные иллюстрации, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.

Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.

Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование. А заодно — и одна из знаковых демок для майкрософтовского шлема.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.

Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Система привязана к приложению для смартфона. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.

Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов? У военных.

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США

В американской армии уже сегодня используется система HUD 1.0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола.

Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке. Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера.

На очереди — HUD 3.0, который должен выйти в следующем году. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. А это уже заявка на удешевление военных учений. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.

Российская армия разрабатывает похожие системы для саперов.

Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое. Например, микроволновки, тефлон и интернет.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.

Коммерческий рост ЭйАр поразителен. Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.

Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона. Сейчас это уже реальность.

Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же.

Сегодня мы с вами живем во время бурных исследований в отрасли. Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

Источник