какое оборудование позволяет взаимодействовать со смешанной реальностью
Виртуальная, дополненная и смешанная реальность: суть понятий и история развития
В новостях всё чаще появляются упоминания о новых устройствах виртуальной и дополненной реальности. Трудно за всем этим уследить, а ещё более трудно упорядочить эту обрывочную информацию из новостей. Поэтому я решил в одной статье свести все ключевые моменты, касающиеся данной отрасли. Ведь в ближайшие лет пять, новости из этой сферы будут появляться всё чаще. По крайней мере, так думают инвесторы, вкладывающие огромные суммы в стартапы, специализирующиеся на виртуальной реальности. Кроме юных энтузиастов за виртуальную и дополненную реальность всерьёз взялись и крупнейшие ИТ-предприятия. Но обо всём по порядку…
Определения, сходства и различия
Для начала определимся с терминологией. Смотрим Википедию:
Виртуальная реальность (Virtual Rality, VR; далее — ВР) это созданный техническими средствами мир (объекты и субъекты), передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Сам термин «виртуальный» происходит от лат. virtualis — возможный.
Дополненная реальность (Augmented Reality, AR, расширенная реальность, улучшенная реальность и т.д.; далее — ДР) — результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации. Предположительно сам термин был введён инженером корпорации Boeing Томом Коделом в 1990 году. Уже тогда специалисты этой компании закрепляли на голове небольшие цифровые дисплеи, помогавшие им монтировать провода в самолёте.
Основной целью виртуальной реальности является создание своего цифрового мира максимально похожего на наш (хотя бы по физическим признакам), но этот мир всё же является смоделированным компьютером (или другим устройством), т.е. по сути созданным человеком в цифровой среде с нуля. Дополненная же реальность лишь накладывает элементы искусственной реальности на наше окружение. Виртуальная реальность взаимодействует лишь с человеком, дополненная — ещё и с внешним миром.
Кроме этого, ещё выделяют смешанную (гибридную, Mixed reality, MR; далее — СР) реальность — объединение виртуальной и дополненной реальности, т.е. накладывание несуществующих виртуальных объектов на наше окружение.
Типичный пример смешанной реальности — функция Гугл переводчика, которая в реальном времени переводит слова с одного языка на другой, тут же подбирая похожий шрифт и заменяя их.
Резюмирую:
Дополненная реальность накладывает вспомогательные объекты на наше окружение. Смешанная реальность встраивает виртуальны объекты в окружение и подстраивает их. Виртуальная реальность создаёт своё окружение, не взаимодействуя с внешним миром.
История возникновения
Начнём с далёкого 1901 года, когда писатель Фрэнк Баум (автор волшебной страны Оз, предвестник телевидения, ноутбуков и беспроводной связи) рассказал об идеи электронного дисплея, накладывающегося поверх реальной жизни.
Время шло и лет через 50 идея Фрэнка нашла воплощение в машине «Сенсорама», которую сейчас бы назвали арт-проектом. Устройство представляло из себя ни то стол, ни то шкаф со стереокартинками, звуком, запахами, вибрирующим креслом и прочими эффектами, но широкого интереса не вызвало и о нём вскоре забыли.
В начале 60х начинает появляться и развиваться компьютерная графика.
В 1960 специалисты компании Боинг Верн Хадсон и Уильям Феттер создают первые системы машинной графики, которую теперь принято называть компьютерной.
В 1962 Стив Рассел, Мартин Грец и Уэйн Уитанем выпускают первую компьютерную видеоигру «Spacewar».
В 1963 году американский учёный Айвен Сазерленд создал первый графический редактор «Sketchpad».
Примерно в это время Станислав Лем, в одной из своих книг, формулирует и отвечает на вопрос «как создать действительность, которая для разумных существ, живущих в ней, ничем не отличалась бы от нормальной действительности, но подчинялась бы другим законам?».
В 1964 году General Motors представила систему автоматизированного проектирования DAC-1, разработанную совместно с IBM.
В том же году группой математиков под руководством Н. Н. Константинова была создана компьютерная математическая модель движения кошки. А через 4 года из неё сделали первую компьютерную анимацию — машина БЭСМ-4, выполняя написанную программу решения
дифференциальных уравнений, рисовала на алфавитно-цифровом принтере мультфильм «Кошечка» (да, коты уже тогда захватили ИТ-мир).
И в том же 68-м, появилась возможность выводить компьютерные изображения на экран электронно-лучевой трубки.
Вернёмся на пару лет назад и отдельно отметим ещё одно изобретение уже упоминавшегося Айвена Сазерленда. В 1966 году вертолётостроительная компания Bell Helicopter начала разработку систем для управления полётами в ночное время. Системы состояли из инфракрасных камер и приёмников, расположенных на шлеме пилота. Направление получило название «удаленная реальность» (Remote Reality). Профессор Сазерленд и один из его студентов Боб Споулл решили заменить инфракрасные приёмники на электронные трубки, подключенные к компьютеру, создав тем самым прототип первого видеошлема.
Примерно в это же время, в конце 60х компьютерный художник Майрон Крюгер вводит понятие искусственной реальности.
Ещё через 10 лет — в 1977 — в Массачусетском Технологическом Институте была создана «Кинокарта Аспена» — компьютерная программа, позволяющая совершить прогулку по американскому городу Аспен. Эта программа считается первой визуализацией виртуальной реальности.
В том же году Даниэль Сандин, Ричард Сейр и ряд других инженеров из EVL изобрели перчатку, с помощью которой можно было передавать в компьютер данные о движении руки. Устройство получило название «Перчатка Сейра».
В 1982 Томас Зиммерман (один из основателей VPL Research) запатентовал установку в перчатку оптических датчиков. Перчатка Зиммермана была предназначена для совмещения акустической гитары и компьютера и передавала на последний данные о положении пальцев, а компьютерная программа уже преобразовывала полученные данные в звук.
В 1989 перчатки виртуальной реальности, наконец, дошли до массового потребителя. Устройство под названием Nintendo Power Glove выпустила NES. Однако, широкого распространения оно не получило.
Следующий большой скачок, оказавший влияние на развитие ВР, произошёл в конце 80х-начале 90х.
В 1989 году другой основатель VPL Research, программист, футуролог, философ, музыкант и много ещё кто Джарон Ланье вводит, собственно, сам термин «виртуальная реальность».
В 1991 анонсируется набор Sega VR, но до выпуска он так и не дошёл — тестировщиков тошнило, кружилась голова и т.д.
В 1994 году Пол Милгром и Фумио Кисино описали континуум «виртуальность — реальность» — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности).
В том же году выходит в продажу шлем Forte VFX1. Устройство добротное, но высокая цена и небольшое количество доступных игр не позволили ему стать популярным.
1995 Nintendo выпускает игровую консоль Virtual Boy. Но и она проваливается. Красно-чёрное изображение на экране долго смотреть просто невозможно, поэтому приставка стала первой консолью, вынуждавшей игрока делать перерывы, чтобы глаза могли отдохнуть.
После этого ещё выходило много шлемов ВР, но ни один из них так и не стал массовым. В начале 90х вышло множество фильмов и книг, популяризирующих данную отрасль. Тема виртуальной реальности была интересна и обсуждаема. Но, несмотря на это (видимо из-за громких провалов шлемов ВР) почти 10 лет не появлялось никаких интересных разработок в этой сфере. В 2000х виртуальная реальность перешла в сферу компьютерных игр.
Сегодня на рынке представлен огромный выбор очков и шлемов ВР, можно найти как проникнутые идеями футуризма (TLpower G100*):
Так и просто «народные» очки, куда надо вставлять телефон — Google Cardboard VR BOX III 3*
Есть даже самосборные из картона* под 5 дюймовые телефоны.
Про новый виток развития искусственной реальности и о современных разработках мы расскажем в следующей статье.
VirtRe
мир виртуальной реальности
Смешанная реальность: что это, область применения
Существуют три близких по значению понятия: виртуальная реальность, дополненная реальность и смешанная реальность. Дополненная реальность – добавление виртуальных образов в реальный мир. Виртуальная реальность – полная замена настоящего окружения на виртуальное. Дополненная и виртуальная реальность между собой не контактируют.
Смешанная реальность (MR) – это система, в которой реальные и виртуальные объекты взаимодействуют между собой, имеют конкретную форму и положение. Элементы смешанной реальности в ограниченных количествах и с неполным набором функций используются в настоящее время.
Существует множество теорий об идеальной смешенной реальности, так называемом континууме виртуальности. Одну из них выделил американский экономист и педагог Паул Роберт Милгром в 1994 году. Его определение и теория базировались на концепте Стива Манна. До этого понятия «смешенная реальность» не формулировалось, а её элементы относили к виртуальной или дополненной реальности.
Разработки смешанной реальности широко используют в физике. Область физики, занимающейся изучением технологий смешанной реальности называют межреальной физикой. Межреальная среда, по мнению физиков, составляет смешанную реальность, где бок о бок существует виртуальное и реальное, а чёткие грани между ними стёрты.
Межреальная среда с точки зрения физики — это технически дополненная реальность, в которой виртуальные элементы имеют своё определённое положение, форму, объём, и с ними можно взаимодействовать.
Отличия смешанной и дополненной реальности
Виртуальная, дополненная и смешанная реальности имеют свои отличительные особенности. Для чёткого понимания определений, особенно между дополненной и смешанной реальностью, необходимо подробно рассмотреть их отличительные особенности. Отличительные особенности характеристик дополненной и смешанной реальности представлены в таблице.
История смешанной реальности
С 2016 года компанией «Microsoft» ведётся разработка новых очков дополненной реальности «Hololens». Несмотря на то, что это гарнитура имеет характеристики дополненной реальности, это первый шаг к MR. Информационные окна, с которыми можно работать на компьютере или телефоне, помещаются на стенах, а устройство запоминает их положение.
Если бы очки «Hololens» могли показывать не только плоские изображения, но и объёмные виртуальные объекты, то их можно было бы назвать очками смешанной реальности. Подобное устройство разрабатывается компанией «Magic Leap», но из-за полной секретности проводимых работ говорить о его принадлежности к тому или иному поколению аппаратуры нельзя.
На данный момент, создание идеальной смешанной среды невозможно. Но отельные «кусочки» смешанного пространства можно воспроизводить с помощью модернизированных устройств, предназначенных для работы в дополненной и виртуальной реальности: в шлемах и очках AR/VR, переносимых полупрозрачных дисплеев, компьютерах и смартфонах.
Трудности реализации MR
Среди трудностей создания смешанной реальности можно выделить следующие:
Из-за совокупности этих трудностей создание, использование и массовое производства устройств для работы в смешанной реальности до сих пор не реализуемы. На современном уровне развития технологий можно лишь создавать небольшие пространства MR, что накладывает определённые ограничения в их использовании.
Область применения смешанной реальности
Контактирование с виртуальными объектами стало возможным благодаря компьютерам и смартфонам. Это особенно удобно, когда пользователь хочет увидеть объект со всех сторон. Например, каталоги товаров интернет-магазинов начинают массово переносить товары в 3D формат. Уже сегодня можно без выхода из дома посмотреть прилавки, взять и разглядеть понравившеюся вещь. В России это направление до сих пор не получило свое развитие. В наших интернет-магазинах не всегда можно найти фотографии товаров.
Популярные в начале нулевых симуляторы гонок с использованием руля и педалей, использовали элементы смешанной реальности. Как на тренажёрах, так и в игре человек с помощью реальных физических объектов взаимодействует с виртуальной средой.
Устройства, помогающие работать с элементами смешанной реальности широко используют в промышленности, в частности в строительстве, где проецируются виртуальные модели зданий. Стоит отметить, что если объекты просто проецируются — это дополненная реальность, но если с ними можно контактировать каким-либо образом, их изменять — смешанная среда.
Программы, в которых используются элементы MR
Самое распространённая программа, в которой используются элементы смешанной реальности — программное обеспечение «Windows Mixed Reality» от компании «Microsoft». Windows Mixed Reality создана для использования на платформе «Windows 10». Для работы необходим шлем или очки. Изначально объявлено, о том что всю гарнитуру выпускает и разрабатывает компания-разработчик, за использование устройств, произведенных в других компаниях, «Microsoft» ответственности не несёт. О разработке «Windows Mixed Reality» объявлено в 2016 году. В 2017 году сделано заявление, о совместимости использования Xbox One, для работы с игровыми приложениями. Разработчики указали на факт фокусировки работы аппаратуры с ПК на собственной платформе «Windows 10». В 2017 году аппаратура и программное обеспечение официально поступили в продажу.
Возможности программы огромны, главным её предназначением остаётся работа в операционной системе «Windows» с помощью устройств дополненной реальности. Пользователи получили возможность управления операционной системой не только с помощью компьютерной мыши, джойстиков и клавиатуры, но с помощью движений рук.
На данный момент программа «Windows Mixed Reality» является единственной в своём роде, её аналоги не имеют сильных отличительных особенностей работы в смешанной реальности. Большинство программ конкурентов имеют неполный набор функций, и больше подходят под описание дополненной реальности с частичным вмешательством.
Как работают очки дополненной реальности и кто их использует
Как работают очки смешанной реальности
Чтобы понять, как работают очки смешанной реальности, нужно разобраться, какие еще существуют варианты погружения в другие пространства с помощью технологий.
Идея очков виртуальной реальности (Virtual Reality) заключается в том, чтобы полностью перенести пользователя в нарисованный мир, совершенно отключить его от реальности.
Очки дополненной реальности (Augmented Reality) накладывают на реальный мир проекцию или голограмму, но не дают никакой возможности взаимодействовать со всем, что происходит в реальности. Например, как в случае с приложением AR Hunter, которое восстанавливает стертые граффити на постройках.
Смешанная реальность (Mixed Reality) — это наиболее прогрессивный формат взаимодействия, когда реальные и виртуальные объекты становятся частью одного мира. Наглядно продемонстрировать работу MR может сборка двигателя. Допустим, сам двигатель находится около вас, тогда очки смогут спроектировать недостающие детали и по типу инструкции показать, куда их поставить.
Где используют такие очки
Сегодня очки смешанной реальности на практике применяют в хирургии. Благодаря такой технологии врачи проводят для своих коллег трансляцию операций, а также могут с большей эффективностью оценить ситуацию и увидеть всю информацию о пациенте в реальном времени — например, снимки КТ или УЗИ.
В армии США очки используют пока что только для тренировок, но в будущем планируют полноценно ввести их в оборот. Компания Microsoft уже занялась разработкой шлема для военных. В прототипе все, что видно внутри шлема, напоминает игру Call of Duty. В реальности он будет напоминать компьютер на голове и сможет сканировать местность и составлять карту, помогать разрабатывать тактику, определять местонахождения членов команды, выводить на экран компас. Основная задача для разработчиков заключается в том, чтобы сделать шлем безопасным для использования в армии: добавить ему автономности и прочности.
В бизнесе технологию можно применять на конференциях: команды могут находиться на разных концах планеты, а их голограммы — совещаться в одной комнате.
Технология MR также будет полезна дизайнерам и архитекторам при проектировании, а еще строителям и людям на больших производствах. За счет визуализации всех процессов очки смешанной реальности позволяют быстрее и эффективнее пройти обучение сложным этапам сборки конструкций и деталей.
В 2018 году очки Microsoft даже использовали на презентации автомобиля Volkswagen Teramont. С помощью них производители показали несколько вариантов эксплуатации пространства внутри машины. Например, вместимость при перевозке строительных материалов и крупногабаритных объектов.
Почему MR-очки — это дорого
Написать софт и вложить хороший процессор внутрь очков несложно. Высокая стоимость очков упирается в линзы: чтобы увеличить угол обзора хотя бы на 30% при разработке HoloLens 2, Microsoft Research потребовалось четыре года.
Тем не менее, заменить линзы на что-то более дешевое пока не получится. Еще нет оптических технологий, которые могли бы выводить сложную проекцию на глаза и делать угол обзора безрамочным.
Рынок MR-очков
Сейчас рынок очков смешанной реальности не такой большой. Наряду с HoloLens существуют также Magic Leap с меньшим углом обзора. Возможно, скоро MR-очков станет больше. Недавно компания Lynx выпустила демо-ролик подобного гаджета, но разработчики ничего не рассказали про даты выхода очков:
Такая же ситуация и у компании Apple. Скорее всего, разработчики «яблочных гаджетов» сделают что-то вроде солнечных очков, которые, как и Apple Watch, будут выносить дополнительную информацию на экран перед глазами, но не смогут отслеживать движения рук и открывать ресурсозатратные приложения.
Что такое смешанная реальность?
Смешанная реальность — это следующая волна в вычислительных средах, за которой следуют мейнфреймы, ПК и смартфоны. Смешанная реальность должна стать общедоступной для потребителей и предприятий. Она освобождает нас от ограничений взаимодействия через экраны, позволяя использовать инстинктивные взаимодействия с данными, помимо прочего, у себя дома и со своими друзьями. Пользователи Интернета, число которых в мире насчитывает сотни миллионов, уже имеют взаимодействия со смешанной реальностью через портативные устройства. На сегодняшний день большинство распространенных решений смешанной реальности в социальных сетях предлагает мобильная дополненная реальность. Люди могут даже не осознавать, что фильтры дополненной реальности, которые они используют в Instagram, представляют собой примеры смешанной реальности. Смешанная реальность Майкрософт заключается в том, чтобы вывести все эти возможности на новый уровень за счет сочетания действительно впечатляющих голографических людей, высокопроизводительных голографических трехмерных моделей и реального мира вокруг них.
Смешанная реальность — это сочетание физического и цифрового миров, обеспечивающее взаимодействие между человеком, компьютером и средой. Такая новая реальность стала возможной благодаря развитию систем компьютерного зрения, графической обработки, технологий для дисплеев, систем ввода и облачных вычислений. Термин «смешанная реальность» впервые появился в документе 1994 года A Taxonomy of Mixed Reality Visual Displays (Таксономия визуальных дисплеев для смешанной реальности) за авторством Пола Милграма (Paul Milgram) и Фумио Кисино (Fumio Kishino). В этом документе они описали концепцию виртуального континуума и таксономию визуальных индикаторов. С тех пор смешанная реальность начала применяться не только к дисплеям и теперь включает следующие возможности:
Изображение: смешанная реальность является результатом смешения физического и цифрового миров.
Ввод и восприятие через окружающую среду
За предыдущие десятилетия связь между людьми и компьютерами укрепилась за счет способов ввода. Возникла новая дисциплина, получившая человеко-компьютерное взаимодействие (Human-Computer Interaction, HCI). С человеческой стороны источниками могут быть клавиатуры, мыши, чернила, голос и отслеживание скелета Kinect.
Усовершенствования датчиков и вычислительных мощностей создают новое машинное восприятие сред на основе расширенных методов ввода. Вот почему в Windows API, которые раскрывают информацию об окружающей среде, называются API восприятия. Входные данные среды могут фиксировать:
Изображение: взаимодействие между компьютерами, людьми и средами.
Сочетание трех необходимых элементов формирует базу для создания проявлений смешанной реальности:
Когда мы двигаемся в физическом мире, наши движения отражаются в мире цифровом. Физические границы влияют на проявления смешанной реальности в цифровом мире, такие как игры или руководства на основе задач на производственном предприятии. Благодаря воздействию и восприятию среды; проявления в физической и цифровой реальности начинают сливаться.
Спектр смешанной реальности
Смешанная реальность объединяет физические и цифровые миры. Две эти реальности отмечают противоположные границы спектра, который называется виртуальный континуум. Мы называем этот спектр реальностей спектром смешанной реальности. На одном конце спектра физическая реальность, в которой существуют люди. А на другом — соответствующая цифровая реальность.
Дополненная и виртуальная реальность
Большинство мобильных телефонов, доступных сейчас на рынке, почти не имеют возможностей для восприятия окружающей среды. Они не способны обеспечить взаимодействие, сочетающее физический и цифровой миры.
Взаимодействия, включающие наложение графики, видеопотоки или голограммы в физическом мире, называются дополненной реальностью. Взаимодействия, в которых ваш взгляд на физический мир перекрывается цифровым устройством с полным погружением, представляют собой виртуальную реальность. Взаимодействия, которые могут переходить между дополненной и виртуальной реальностями образуют смешанную реальность, где можно:
Изображение: спектр смешанной реальности
Большинство доступных на сегодняшний день проявлений дополненной и виртуальной реальности отражают лишь малую часть большого спектра смешанной реальности. Windows 10 создавалась с учетом всего этого спектра и позволяет организовать полноценное смешение цифровых представлений людей, мест и объектов с реальным миром.
Устройства и взаимодействия
Существует два основных типа устройств, которые поддерживают взаимодействия Windows Mixed Reality:
Подключение или отсутствие подключения устройства к отдельному компьютеру по USB-кабелю или через Wi-Fi не дают никакой информации о том, является ли устройство голографическим или иммерсивным. Функции, улучшающие мобильность, часто обеспечивают более качественное взаимодействие. Голографические и иммерсивные устройства могут либо подключаться, либо нет.
Взаимодействия со смешанной реальностью стали возможными, благодаря технологическим усовершенствованиям. Пока еще нет устройств, способных организовать взаимодействие по всему спектру. Windows 10 предоставляет производителям устройств и разработчикам ПО единую платформу для смешанной реальности. Любое современное устройство может поддерживать лишь определенный сегмент из спектра смешанной реальности. Впоследствии появятся новые устройства с более обширным диапазоном: голографические устройства станут более иммерсивными, а иммерсивные — более голографическими.
Изображение: расположение устройств в спектре смешанной реальности
Какой тип взаимодействий вы хотите создавать как разработчик приложений или игр? Эти взаимодействия будут соответствовать определенной точке или сегменту нашего спектра. Вы должны учитывать возможности целевых устройств. Взаимодействия на основе реального мира лучше всего выполнять на HoloLens.
Следующий этап
Вы отправляетесь в увлекательное путешествие, которое мы для вас подготовили и в процессе которого вы познакомитесь с основами смешанной реальности. Отсюда вы можете перейти к следующей основной теме: