Очки дополненной реальности: где мы сейчас?

Введение

Все мы, наверное, в той или иной степени сталкивались с девайсами в виде AR очков. Но не все знают, почему так сложно сделать хорошие носимые устройства, которые смогли бы обеспечить пользователя изображением, не уступающим по качеству изображениям современных мониторов и экранов, имели бы небольшой размер, сравнимый с габаритами обычных очков для коррекции зрения, и могли бы работать без подзарядки на протяжении всего дня. Более подробно про современное положение дел и проблемы в области AR можно почитать тут: ссылка

Рис. 1: верхний рисунок – глаз человека может фокусироваться на объекты, удаленные на расстояние больше 15 см, нижний рисунок – для создания изображения в системе дополненной реальности необходимо использование прозрачного оптического элемента, который “искусственно” отдалит изображение на комфортное для человека расстояние.

Кратко, если нет времени читать предыдущий рекомендованный пост

Глаз человека очень сложный биологический сенсор. Считается, что порядка 80% всей информации об окружающем мире человек получает через глаза. Эволюционно сложилось так, что человеческий глаз может фокусироваться на предметы, которые находятся на удалении от 15 см до … (бесконечности) (рис.1 (верхний)).

Такая особенность хороша для повседневной жизни в реальном мире, но является трудно преодолимой проблемой при разработке систем AR. В системе AR очков недостаточно просто отобразить изображение на дисплее или экране по средствам включения или выключения пикселя/мини-светодиода. Если в AR очки установить обычный дисплей, то он будет располагаться на расстоянии 2 – 3 см от глаз, куда человеческое зрение не в состоянии сфокусироваться. Чтобы решить эту проблему, необходимо пропустить изображение через оптическую систему и сделать так, чтобы глазу казалось, что изображение удалено на комфортное для зрения расстояние (рис. 1(нижний)). Вся сложность заключается в том, как изготовить такую оптическую систему, да так, чтобы эта система была прозрачной (для наблюдения реального окружающего мира), малой по размеру (как обычные очки), выдавала изображение высокого разрешения (конкурентоспособное в современном мире дисплеев), отображала изображение при различной ориентации глаза (глаз постоянно двигается и постоянно перемещается его оптическая ось) и т.д.

В настоящее время есть большое количество подходов и технологий, как обмануть глаз и заставить его думать, что изображение удалено на нужное расстояние, при том, что оно генерируется в паре сантиметров от глаз. Однако по тем или иным причинам уже существующие технологии не подходят для создания массового продукта в виде AR очков.

На основе знаний в области оптики, фотоники и современных технологий дополненной реальности мы попробовали разработать свою технология, которая по некоторым параметрам явно превосходит существующие аналоги.

Перспективы развития дополненной реальности

Эксперты прогнозируют, что к 2025 году индустрия виртуальной и дополненной реальности достигнет более $25 млрд, и это не предел. Светлое будущее AR-технологии будет определяться инвестициями из областей бизнеса и сфер, которые находят свой практический потенциал довольно заманчивым. Все они представлены в следующей таблице.

Когда игры будут оставаться доминирующими с точки зрения доходов, более практичные отрасли, такие как здравоохранение и машиностроение, будут набирать обороты. Если речь заходит о недвижимости и обустройстве дома, существуют такие примеры использования, как интерактивные пошаговые руководства через мобильный AR. Последний также может быть использован в путешествиях. В ближайшем будущем дополненная реальность в бизнесе эволюционирует с появлением на рынке нового программного и аппаратного обеспечения, а также большего количества вариантов использования.

Что происходит на рынке виртуальной и дополненной реальности в мире

Хотя возможности виртуальной реальности ещё недоступны массовому потребителю, известные компании вовсю занимаются развитием этих технологий.  

Владелец Universal Studios компания Comcast вложила $6,8 млн в небольшую VR-студию Felix&Paul в Монреале, которая успела поработать с Funny or Die и Белым домом.

В развитие виртуальной реальности инвестирует также издание New York Times. Уже много издание создает 360-градусные видео, которые выигрывают фестиваль « Каннские львы».

В 2014 году Facebook приобрела компанию Oculus VR за $2 млрд, а в этом году ещё и запустила социальную сеть с 3D-аватарами и возможностями VR-взаимодействия.

В HTC тоже в тренде  — в 2016 году компания выделила $100 млн на развитие своей платформы Vive. HTC разрабатывает линейки продуктов HTC RE и их шлем виртуальной реальности давно стал конкурентом Oculus Rift. HTC не только разрабатывает свои продукты, но и создаёт акселераторы для VR-стартапов. 21 июня в Сан-Франциско прошёл демо-день от их акселератора Vive X, в рамках которого 26 компаний продемонстрировали свои технологии.

Другие крупные участники рынка также внесли свой вклад – компания Sony в 2015 году приобрела разработчика систем распознавания пространственных жестов SoftKinetic Systems, а Samsung объявила об инвестировании $6 млн в американский стартап Baobab Studios, специализирующейся на анимированной виртуальной реальности.

Крупные компании выпускают собственные гарнитуры виртуальной реальности (HTC Vive, Oculus Rift, PlayStation VR), при этом разрабатывая эксклюзивные игры и программное обеспечение только под них. Но всё может измениться, если производители начнут взаимодействовать друг с другом, делиться опытом, популяризировать технологии виртуальной реальности. С этой целью крупными компаниями отрасли в конце 2016 года была образована Global Virtual Reality Association (GVRA), которая будет заниматься развитием и продвижением VR. В ассоциацию вошли Acer (Starbreeze), Google (Cardboard, Daydream), HTC (Vive), Facebook (Oculus Rift), Samsung (Gear VR) и Sony (PlayStation VR) и другие.

Подробнее о мировом рынке AR/VR читайте в материалах Rusbase:

• Как в Китае штампуют технологии виртуальной реальности
• На повсеместное распространение виртуальной реальности может уйти 6-8 лет
• Тренды будущего: виртуальная и дополненная реальность

Создание доступной среды

Помощь слабовидящим: благодаря системам распознавания объектов в AR и голосовым интерфейсам, слабовидящие пользователи смогут видеть, что происходит вокруг.

Помощь слабослышащим: AR-устройства смогут преобразовывать в текст звуковую информацию, к примеру, объявления в самолете или визг тормозов.

Перевод в реальном времени:AR сможет преобразовывать текст или устную речь на иностранном языке и переводить их на родной язык пользователя.

Карты для людей в инвалидных колясках:в AR будут доступны карты с маршрутами, лучше всего приспособленными для передвижения на коляске.

Увеличение:возможность приблизить слишком маленький или удаленный текст так, чтобы его можно было прочитать.

Социальная жизнь

Частные клубы: отмечайте места для встреч ограниченного круга людей. Те, кто не входит в сообщество, не увидит ничего, члены общества увидят знак и найдут вас.

Оценка пары: станет возможным смоделировать свидание и проанализировать, насколько привлекательным покажется вам партнер. Для определения интересов и предпочтений партнера можно будет прочитать в AR краткую анкету.

Построение личного бренда:некоторые биографические данные можно выбрать для показа другим пользователям AR наподобие виртуального профиля. В зависимости от ситуации – рабочей или неформальной – можно будет менять и направленность профиля.

­Влоги от первого лица:AR сделает запись важных моментов вашей жизни более естественной. Можно будет показать другим события так, как будто они переживают то же самое на вашем месте.

Публикация статусов: пользователи смогут настраивать статусы, которые будут видны другим людям. Поставьте «не беспокоить», если вам нужно уединение, или «доступен», если вы открыты общению. Транслируйте информацию об играющей песне в обновления статуса.

Сопоставление лиц и имен людей: при сканировании лиц людей можно будет узнать их имена. Развитие AR вообще будет крайне полезно для тех, кто плохо запоминает имена.

Встречи в AR: проецируйте своих друзей в AR рядом с собой. Если вы в разных городах сидите на диванах, то ваша девушка увидит вас у себя на диване в Питере, а вы увидите ее у себя дома в Москве. Друзья смогут находиться в разных точках мира, но собираться вместе смотреть кино, играть в игры и просто общаться.

Автомобиль на ладони

В 2009 году компания BMW предложила потенциальным клиентам рассмотреть со всех сторон новый кабриолет Z4. Чтобы миниатюрная версия автомобиля «оказалась» на столе пользователя, нужно было распечатать специальную метку и запустить приложение на ПК — принцип, схожий с тем, что использовался в приложении для примерки виртуальных часов. Разумеется, виртуальный Z4 не оставался стоять на месте — всё-таки это спортивный автомобиль.

Старт продаж одного из своих авто компания Volvo отметила запуском гоночной AR-игры, где на новеньком S60 можно было прокатиться даже внутри помещения — например, уехать из кухни в гостиную. И хоть виртуальные объекты в игре просто накладываются на существующую реальность, а не дополняют её, данная рекламная акция сработала отлично. Трафик на сайте увеличился на 293 %, было 192 319 кликов, а процент вовлечённости — 9,6 %. Показатель намерения совершить покупку увеличился на 88 %, а узнаваемость бренда повысилась на 240 %. Как после такого не говорить, что взрослые — это просто большие дети?

Wanna kicks

Еще одно приложение для примерки каких-либо элементов гардероба. На этот раз речь зайдет об обуви. Походы по магазинам часто становятся утомительным занятием, но Wanna kicks избавит пользователя от траты времени на примерку кроссовок. Программа позволит примерить понравившуюся обувь одним нажатием на экран, достаточно выбрать желаемую модель и кроссовки моментально окажутся на ногах пользователя. Проверить, как они смотрятся можно при помощи AR-режима. Помимо примерки, доступна функция просмотра характеристик обуви и ее приобретения прямо из приложения дополненной реальности.

Как XR используют в мире

В 2020 году Билли Айлиш провела первый в мире виртуальный концерт, для которого Sila Sveta создала специальные декорации: для каждой песни разработали свой виртуальный мир. Например, когда Билли исполняла трек ilomilo, она оказывалась в подводном мире с огромными акулами, и всё это происходило в прямом эфире.

Изображение: Sila Sveta / Moment Factory / Billie Eilish
Изображение: Sila Sveta / Moment Factory / Billie Eilish
Изображение: Sila Sveta / Moment Factory / Billie Eilish

Технология XR активно применяется и на презентациях автомобилей. Американская креативная студия MBA создает моушн-дизайн для Kia, Honda и Hyundai. В презентациях благодаря XR автомобиль движется, но на самом деле на экранах просто меняются декорации.

Изображение: Martin Brinkerhoff Associates

Раньше производителям кино приходилось работать на фоне зелёного экрана. Сейчас с помощью XR и огромных LED-экранов на съёмочной площадке выставляют уже готовые 3D-изображения, чтобы перенести героев в виртуальную реальность. Lucasfilm сняла сериал «Мандалорец» по вселенной «Звёздных войн» полностью на XR.

Изображение: Industrial Light & Magic / YouTube

В кинопроизводстве такая технология помогает сэкономить время на постпродакшне, а актерам — глубже погрузиться в роль. С помощью XR сняли и многие сцены в фильмах «Книга джунглей»(2016) и «Король лев» (2019).

Виртуальная реальность в строительной отрасли

Виртуальный мир давно и прочно вошёл в повседневную жизнь. Технические приспособления для погружение в «иные миры» в виде шлемов и очков легко приобрести, их цена стала доступной, а возможности современных смартфонов позволяют воспроизводить большинство программ. Поэтому неудивительно, что внедрение технологий на основе VR имеет сейчас наибольшее распространение.

Обучение в виртуальной среде

Самой распространённой сферой применения виртуальной реальности в строительной отрасли является обучение: операторов – работе с оборудованием, работников – поведению на рабочей площадке. И если тренажёры-симуляторы всё ещё остаются достаточно дорогой «игрушкой», то HMD модули активно используются для обучения заказчиков работе с конкретным оборудованием. Особенно это заметно в сегменте высотных рабочих платформ, где практически на всех крупных международных выставках представлены подобные решения.

Симуляторы для работы на подъёмниках представляют рабочую корзину оператора со всеми органами управления, расположенными в точности, как на реальной машине, очки виртуальной реальности, а также монитор, на котором транслируется изображение того, что видит обучающийся. Это позволяет скорректировать действия сотрудника, не подвергая риску его и технику.

Кроме того, виртуальная реальность позволяет создавать контролируемую среду для проведения «уроков» по технике безопасности. В качестве примера можно привести модуль VR для обучения работников дорожных служб от концерна Caterpillar. Он предназначен для обучения сотрудников поведению на рабочем месте, взаимодействию с коллегами и оборудованием.

Следуя поговорки, что «учиться надо на чужих ошибках, но на своих быстрее доходит», учебные сеансы помогают прочувствовать последствия, которые могут случиться в случае не соблюдения требований техники безопасности. Каждое принятое решение внутри виртуального мира предлагает позитивное или незабываемое негативное последствие. Таким образом человек не только читает, но и ощущает их на себе, не получая при этом травм.

Стоит отметить, что согласно исследованиям Global Market Insights, рынок обучения операторов при помощи VR технологий растёт на 13% в год.

Виртуальный мир для воплощения в реальность

Цифровое моделирование зданий – BIM – тоже является продуктом VR технологии. Однако развитие и доработка технологии всё больше переносит его в категорию смешанной реальности. Поэтому поговорим о нём именно в разделе MR.

Ещё одним аспектом применения виртуального мира является проектирование специальных машин. И хотя они изготавливаются непосредственно под конкретный проект, работы по нему идут на цифровой модели реальной площадки, а значит полностью в виртуальном пространстве.

Одним из примеров является программа Liebherr Crane Planner 2.0, которая создана совместно с Центром строительной робототехники. Цель программы – показать клиентам возможности кранов для решения различных задач. Она позволяет создавать 3D модель строительной площадки и наглядно демонстрировать работу грузоподъёмной техники.

Конечно, такую же программу можно смотреть и на экране компьютера, но, по словам специалистов, восприятие размеров, высоты, машины и прочего в виртуальной среде гораздо лучше, чем на плоском мониторе.

История развития AR

Технологии дополненной реальности практиковались давно. Один из часто используемых примеров приборов для выведения графической информации в виде мнимых объектов – очки и нашлемные устройства лучников, появившиеся в древнем Египте, для повышения точности стрельбы из луков. С появлением качественного стекла дополненная реальность получила новый толчок к развитию. На стекле либо с одной стороны наносились рисунки и нужная информация, либо с другой специально обученным человеком, писавшим задом наперёд. Подобные системы продолжали использоваться вплоть до конца двадцатого века, например, планшетисты в командных пунктах ПВО писали на полупрозрачных картах информацию о местоположении вражеских самолётов, но уже в восьмидесятых из-за развития технологий эта профессия ушла в прошлое.

Несмотря на довольно долгое использование механических устройств дополненной реальности, отсчёт её существования ведётся с 1965 года, когда профессор из Гарварда Айван Сазерленд вместе с помощником разработал первые в мире очки дополненной реальности. С помощью довольно массивного устройства, названным «Дамоклов меч», прямо перед глазами пользователя появлялась дополнительная графическая информация. Кроме того, была предусмотрена возможность движение мнимых объектов вместе с взглядом человека, что звучит как фантастика и в наше время, не говоря уже о семидесятых годах прошлого века. Но развитие технологий дало о себе знать: очки были слишком тяжёлыми, из-за чего их пришлось закреплять на потолке, а вся конструкция висела над человеком, как дамоклов меч, из-за чего и получила такое название.

Проблемы «Дамоклова меча» были преодолены только спустя десять лет. В 1978 году канадский инженер-изобретатель создал устройство, отдалённо напоминавшее очки дополненной реальности. Прибор получил название «EyeTap». Главным отличием от проекта Айвана Сазерленда, кроме массы, заключалась в том, что в очках была камера и полупрозрачный экран, которые позволяли выводить мнимые объекты в поле зрения человека. В производство данный прибор так и не был запущен, но принцип его работы был использован в более поздних проектах.

Космос и дополненная реальность

Ден Рейтон в начале восьмидесятых придумал возможность использования технологий дополненной реальности в космосе, для отображения движения атмосферных масс. Несмотря на использования этого принципа до сих пор, его сложно назвать массовым.

Первым, по-настоящему крупным использованием технологий дополненной реальности стали шлемы для инженеров компании «Boeing», связанных с компьютером. Это был настоящий прорыв в использовании подобных устройств, ведь теперь не было необходимости постоянно обращаться к записям и чертежам. Именно тогда ранее упоминавшийся Том Коделл дал определение дополненной реальности.

В девяносто втором году двадцатого века была создана массовая коммерческая система дополненной реальности KARMA, что расшифровывается как Knowledge-based Augmented Reality for Maintenance Assistance. Система позволяла на специальные очки выводить информацию по ремонту различных приборов, в частности принтеров. Разработал систему американский учёный Стив Файнер.

Через три года после создания системы KARMA было разработано устройство дополненной реальности, схожее по принципу работы с современными мобильными приложениями. Камера передавала изображение на дисплей, где к нему добавлялась нужная информация.

С этого времени началось массовое использование устройств дополненной реальности, продолжающееся до сих пор. В настоящее время на любой смартфон можно устанавливать приложения дополненной реальности, а в продаже доступны специальные очки и шлемы, дающие возможность выводить дополнительную информацию и мнимые объекты в реальный мир.

Что такое VR и AR?

Виртуальная реальность — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие.

Дополненная реальность (англ. augmented reality, AR — «расширенная реальность») — технологии, которые дополняют реальный мир, добавляя любые сенсорные данные. Несмотря на название, эти технологии могут как привносить в реальный мир виртуальный данные, так и  устранять из него объекты. Возможности AR ограничиваются лишь возможностями устройств и программ.

Cтоит сразу прояснить разницу между AR и VR:

Пример дополненной реальности: игра Pokemon GO

Что такое дополненная реальность?

Дополненная реальность или AR — исходя из названия представляет собой инструмент добавления в обстановку реального мира виртуальных объектов.

При ответственном и качественном подходе к разработке и организации создания дополненной реальности человек теряет грань где заканчивается реальное и начинается виртуальное. Таким образом, выполняется расширение текущей реальности, в неё внедряется информация виртуального происхождения.

Технология дополненной реальности даёт массу дополнительных возможностей и используется в различных сферах деятельности человека. Какие основные преимущества даёт использование AR?

Первое на что можно рассчитывать это повышенный эмоциональный фон и соответствующий отклик пользователя. Это связано с эффектом неожиданности и нереальности происходящего. Например, появление в торговом комплексе виртуального объекта вызовет минимум удивление и как максимум восторг. Таким образом, эмоциональный фон позволяет более удачно продвинуть нужный продукт. Эта особенность очень ценна для маркетинга. Повышение лояльности к нужному бренду может быть достигнута посредством дополненной реальности. Такой подход добавляет игровой момент и повышает вовлечённость абсолютно всех клиентов без исключения. Благодаря тому, что нужная информация преподносится легко и в игровой форме повышается качество её запоминаемости. В отличие от виртуальной реальности, дополненная не требует использования сложных приспособлений для создания нужной обстановки, она может генерироваться при помощи подручных гаджетов, например, мобильного телефона. Именно это является основным отличием двух этих технологий. Благодаря высокому эмоциональному фону, все рекламные кампании, использующие как инструмент дополненную реальность, имеют вирусный эффект. А как известно, он лучший рекламный инструмент из всех возможных

Рассказы передаются по принципу «сарафанного радио» и повышают узнаваемость бренда, а также привлекают к нему внимание. WOW-фактор формирует лучшее впечатление от продукта в целом

Прочная связь офлайна и Digital. Позволяет более детально изучить предлагаемый товар потенциальным клиентам. Особенно если, созданная 3D-модель позволяет разобрать продукт более детально, чем это предоставляется в реальности.

Как видно из перечисленных преимуществ, дополненная реальность является лучшим маркетинговым инструментом на сегодняшний день. Она позволяет значительно расширить ЦА и повысить её лояльность.

Для того чтобы расширить и дополнить имеющуюся реальность используется специальное программное обеспечение, и гаджеты, формирующие модель объекта:

• планшеты последнего поколения;
• умные очки, генерирующие объекты AR;
• смартфоны с соответствующей функцией.

Если более детально взглянуть на процесс создания дополненной реальности, то можно отметить следующие элементы, участвующие в процессе дополнения окружающей реальности. В первую очередь — это дисплей, камера и соответствующая электроника. Последняя предназначена для определения положения объекта в пространстве и имеет такие приборы, как компас, GPS и акселерометр.

Все это позволяет создать эффект неожиданности и значительного удивления и соответственно закрепить в памяти зрителя все, что с этим связано.

По сути, механизм можно представить в такой последовательности: применяется специализированная метка, как только компьютер или смартфон её обнаруживает и считывает, тут же на дисплее воспроизводится дополнительный слой с виртуальным объектом. Самым простым примером такого механизма может послужит игра Покемон Гоу.

Виды VR-очков

Очки виртуальной реальности позволяют пользователю погрузиться в смоделированный мир. Объемная картинка VR-очков создает эффект полного погружения в сюжетную линию воспроизводимого видеоконтента.

Область использования очков виртуальной реальности неимоверно широка. VR-оптика используется для организации игровых развлечений, просмотра фильмов, видеоконференцсвязи, осуществления виртуальных экскурсий. Помимо этого, технологии виртуальной реальности используются в медицине (эффект дополненной или смешанной реальности), для организации учебных занятий, при ремонте всевозможной техники и т.д. Перспективы использования технологий виртуальной реальности практически безграничны.

Принцип работы простой. Внутри гаджета есть две линзы, которые транслируют изображение с ПК или смартфона. Соединение может быть проводным или беспроводным — по Wi-Fi или Bluetooth. Самые продвинутые модели полностью автономны. У них есть собственный процессор, оперативная система и емкий аккумулятор.

Мобильные

В мобильных системах основные функции на себя берет смартфон, который устанавливается в фирменную гарнитуру, то есть шлем получается многокомпонентным. Они удобны, понятны в использовании, прогнозируемы с точки зрения разработки. С одной стороны, это возможность попробовать VR недорого. Но с другой, такие коробочки — это пробники, а серьезных решений на них не сделать.

Виртуальные очки Daydream от Google:

Виртуальные очки Gear VR от Samsung:

Standalone

Standalone VR-шлемы включают в себя все необходимые технические компоненты в едином корпусе ЦПУ (центрального процессорного устройства) и графический процессор, дисплеи и, иногда, даже стереодинамики. Они полностью автономны, смартфон не нужен, вся «начинка» уже встроена внутрь. Эти шлемы получили большую популярность, так как довольно дешевые и простые в использовании.

Очки виртуальной реальности Oculus Go:

Стационарные

Система виртуальной реальности (шлем, система трекинга) подключается к персональному компьютеру. Вы можете делать довольно мощную процедурную графику. У шлемов есть пространственные джойстики, они — продолжение рук пользователя.

Шлем виртуальной реальности HTC Vive:

Транспорт

GPS-навигация: подсказки будут проецироваться прямо у вас перед глазами. При движении на автомобиле больше не придется отвлекаться на телефон или навигатор, что приведет к снижению количества аварий из-за рассеяния внимания.

Профилактика аварий:как в случае машин с автопилотом, так и управления людьми, с подсказками от систем AR, компьютерное зрение способно обнаруживать и реагировать на потенциальные угрозы быстрее человека.

Выявление угроз: водители и пассажиры будут отмечать угрозы и пробки в дополненной реальности. Представьте, что Waze (навигационное приложение — прим. ред.) можно было бы наложить на реальный мир.

Фиксация и анализ ДТП: пользователи AR с возможностью записи видео от первого лица (POV) будут иметь более весомые доказательства при анализе аварий и выявлении виновных.

Похожие записи:

Анализ финансово-хозяйственной деятельности предприятия Кто входит в несписочный состав работников Как найти похожую картинку, фотографию, изображение в интернет Exw условия поставки по инкотермс 2010 «выхлоп в 300%» На рынке сейчас «взрыв» данных. мы стараемся учесть все, что влияет на медиа