ТЕХНОЛОГИИ VR И AR: ВЫБОР БОЛЕЕ АКТУАЛЬНОЙ ТЕХНОЛОГИИ В НАШЕ ВРЕМЯ

ВВЕДЕНИЕ: ВИРТУАЛЬНАЯ И ДОПОЛНЕННАЯ РЕАЛЬНОСТИ

С сегодняшним развитием технологий,все более и более актуальной становится развитие технологий виртуальной и дополненной реальностей. Цель данного проекта - установить причины такого низкого качества изображения, производительности и высокой цены устройств виртуальной и дополненной реальностей. Чтобы лучше понять о чем идет речь, стоит уточнить что же представляет из себя виртуальная реальность и дополненная.

Виртуальная реальность, также известная как искусственная реальность - это созданный техническими средствами мир, который передается человеку, используя ощущения: зрение, слух, обоняние, осязание и др. Она имитирует не только воздействие, но и реакции на воздействие, так как объекты виртуальной реальности обычно ведут себя как аналогичные объекты материальной реальности. В последующем будет обозначаться как VR (Virtual Reality)

Дополненная реальность - это реальность создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда рeaльные объекты монтируются в поле восприятия),  результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации. Поэтому ее также называют расширенной реальностью, или смешанной реальностью. Это система, которая совмещает виртуальное и реальное, взаимодействует в реальном времени и работает в 3D. В последующем будет обозначаться как AR (Augmented Reality).

Данные технологии очень полезны. VR, за счет своих симуляций, может обучить человека очень многому, начиная от уроков вождения автомобиля, заканчивая уроками по пилотированию. AR же помимо какого-либо обучения, способен улучшить и облегчить уже имеющиеся навыки посредством внедрения умных и быстрых компьютерных технологий в нашу повседневную жизнь. К примеру, тот же навигатор, за счет AR не даст водителю отвлекаться на телефон или GPS-навигатор, все будет прямо на лобовом стекле или в очках AR. В общем и целом, эти технологии обладают огромным потенциалом развития, который непременно проявит себя в будущем. На сегодняшний день технологии виртуальной реальности широко применяются в различных областях человеческой деятельности: проектировании и дизайне, добыче полезных ископаемых, военных технологиях, строительстве, тренажерах и симуляторах, маркетинге и рекламе, индустрии развлечений и т. д. Объем рынка технологий виртуальной реальности оценивался в 15 млрд долларов в год. Дополненная реальность появилась не так давно, но уже используется во многих областях нашей деятельности.

Данный проект нацелен на установление причин проблем этих технологий, посредством анализа многих факторов программной и технической работ, для нахождения решения по улучшению производительности устройств VR и AR.

Возникновение VR и AR.

1962 год	Появление виртуальной реальности
1970-е года	Замена видеосъёмки компьютерной графикой в симуляторах VR
Середина 1980-х	Появление систем, с помощью которых пользователь мог манипулировать с трехмерными объектами на экране благодаря их отклику на движение руки

 

 

Начало 90-х

Появление дополненной реальности

Основная часть: Основные проблемы и их решение.

Основные проблемы

Я решил выделить несколько основных проблем, которые, по найденным данным, существенно влияют на производительность систем VR и AR.

• Ограничения 3D-“движка” для программирования.
• Плохая оптимизация.
• Высокие системные требования.
• Высокие требования к графике

Также каждая система имеет свои собственные недочеты.

У AR:

• Отображение
• Распознавание объектов не работает должным образом
• Бинокулярное зрение

У VR:

• Перегрузка зрения

 

 

2.2.1 Разбор проблем и их решение

-Ограничение движка:

Множество приложений для VR разрабатываются на основе игровых “движков”, для достижения лучшего результата в программировании на каждом из “движков” требуется выучить определенный язык программирования, например: C++ и Blueprints Visual scripting используются “движком” “Unreal Engine 4”, C# используется “движком” “Unity”, Android Studio для приложений для Android, Google SDK для приложений для Google Cardboard. Я считаю, что проблема в том, что мощнейшие из этих “движков” созданы для разработки игр, то есть, конкретно под VR они не ориентированы из-за чего появляются проблемы с оптимизацией кода.

Очевидно, для того, чтобы системы VR могли раскрыть свой потенциал, им требуется не менее мощная платформа, по силе сравнимая хотя бы с Unity3D, которая будет разработана для разработки VR приложений. Это поможет не только снять ограничения, появлявшиеся при использовании других платформ, но и решить парочку других проблем.

Для AR же появились свои платформы для разработки приложений. Как видно, для дополненной реальности было создано довольно много платформ для разработки в разных сферах деятельности.

Что до AR, eсли на данный момент есть какие-то неудобства и ограничения, скорее всего, только потому, что эти платформы появились не так давно и требуют доработки.

 

-Плохая оптимизация:

Так как имеющиеся платформы разработки имеют некие ограничения, для их преодоления, разработчики пишут более длинный код, что заметно снижает скорость перевода кода на машинный язык.

Так как разработчикам приходится сталкиваться с ограничениями движка, которые нужно как-то обходить, заметно ухудшается оптимизация. Но разработав новую платформу разработки, проблема плохой оптимизации возникать будет значительно реже.

 

-Высокие системные требования:

Эта проблема “вытекает” из двух предыдущих, поскольку является результатом сложения предыдущих проблем. Ограничения платформы и плохая оптимизация увеличивают нагрузку на систему почти ВДВОЕ, вследствие чего требования к производительности комплектующих растут.

Решив эти две проблемы, получится избавиться еще от одной - высокие системные требования. Если решить проблему с платформой, а следовательно и с оптимизацией, то нужда в таких высокопроизводительных комплектующих отпадет.

 

• Проблемы AR:

-Отображение:

В фильме для движения объекта или актёра все записывается с использованием технологии захвата движения и реконструируется с помощью программного обеспечения для анимации, что значит, дополнение происходит контролируемо. AR-приложения создают картинку в режиме реального времени, потому сильно полагаются на регистрацию движения. Для обработки анимации постфактум(после того как все было сделано) нет возможности, а тени и освещение всегда будут одинаковыми, независимо от того, каковы текущие условия среды, из-за этого качество анимации создает ощущение мультипликационности, от которого сильно страдает наложение в дополненной реальности.

Потенциально решение может быть найдено с помощью освещения на основе изображения (IBL — Image-Based Lighting). Эта техника 3D-рендеринга использует специальную помещённую в среду камеру для съёмки освещения и применяет результат к сгенерированному компьютером изображению. Проблема здесь в том, что смартфоны на текущий момент не имеют достаточную вычислительную мощность для реализации соответствующего программного обеспечения, а в очки и шлема AR оно будет идти ещё дольше. Кроме того маловероятно, учитывая наше состояние технологии, что к этим устройствам будет добавлено более одной камеры исключительно для лучшей отрисовки объектов.

-Распознавание объектов не работает должным образом:

При моем тесте приложения “Google Googles”, ни один из просканированных объектов не был опознан.

Это важно для AR по двум причинам. Первая очевидна: если ваше устройство не может распознать, что находится перед ним, то оно никак не сможет выдать вам информацию об увиденном. Вторая также относится к регистрации движения.

Для того, чтобы регистрация работала, вам нужна фиксированная точка отсчёта в кадре. До определённого уровня это может быть решено, поскольку AR-очки, как и смартфоны, содержат гироскопы, которые дают им своего рода примитивную проприоцепцию(ощущение положения своего тела в пространстве), но наличие фиксированной точки в кадре также необходимо устройству, чтобы понять, где именно движется анимированный объект по отношению к живой сцене.

Это может быть разрешено только за счёт расширения базы данных, с которой работает устройство и программное обеспечение. Распознавание объектов можно понимать как следствие поиска. Входные данные (изображение) получены, просеяны через базу других изображений, а набор алгоритмов использован, чтобы понять, что это. К сожалению, поиск изображений гораздо сложнее, чем простой поиск в интернете, и наши текущие вычисления выполняются с отставанием. Интеллектуальная обработка, необходимая, чтобы понять видеоряд, даётся компьютерам с трудом, и большинство из нас этого не осознаёт.

Распознавание объектов было бы необходимо для уведения технологии от её текущей зависимости от QR-кодов и 2D-маркеров, которые используются почти всеми настоящими приложениями дополненной реальности. Это также был бы один из краеугольных камней создания объединённого AR-браузера для реального мира, который включал бы взаимодействие с реальными объектами.

-Бинокулярное зрение:

У нас есть восприятие глубины, потому что мы имеем бинокулярное(парное) зрение. Это то, что позволяет нам понять приблизительные расстояния между вещами. Телефон с его единственной камерой на это не способен.

На деле есть несколько способов это обойти. Одним из них является эхолокация. Это не лучший выбор, поскольку она создаёт шумовое загрязнение, и даже если она проводится на частоте, неслышимой человеческому уху, то может вызвать проблемы в окружении животных. Кроме того она не будет создавать видимую 3D-среду только со звуком, поскольку данные эхолокации должны быть объединены с данными о видимом свете. То же самое можно сказать о тепловых данных, хотя эхолокация, естественно, будет более эффективной в условиях слабой освещенности.

Лучшим способом обойти эту проблему, на мой взгляд, является то, что выбрала эволюция — бинокулярное зрение. Оно было реализовано в Kinect, правда уже в тринокулярном режиме.

• Проблемы VR:

Перегрузка зрения:

Когда человек смотрит на предмет, расположенный очень близко к нему, а потом направляет взгляд вдаль, его глаза меняют «фокусировку». Но объекты в виртуальной реальности хотя и кажутся удаленными, на самом деле демонстрируются с дисплея перед самыми глазами человека, тем самым вызывая кратковременную “перегрузку” зрительной системы. Конечно, человек может легко адаптироваться и никаких проблем не будет, но есть вероятность того, что они появятся. Причем, как утверждает Марк Мон-Уильямс(профессор когнитивной психологии), это глубоко индивидуальная проблема — всё зависит от глаз конкретного пользователя.

Что делать дальше, пока неясно, так как учёные ещё недостаточно изучили этот феномен. Проблему можно частично решить, снизив кол-во мелких частиц на которых нужно фокусироваться взгляду. Остается надеяться, что академикам и индустрии удастся объединиться и сделать технологию лучше.

Практическая часть

Для проверки наличия приведенных проблем у систем AR, я воспользовался приложением “Stacks AR”. Как только мне удалось найти подходящую точку отсчета в кадре - поверхность, я сразу заметил ряд проблем:

1. Выстраиваемая “башня” плохо зафиксирована в кадре, несмотря на точку отсчета. При попытке осмотреть ее с других ракурсов постройка смещается в разные стороны
2. Не смотря на генерацию тени постройки, отображение не становится лучше, наоборот, проблема становится более явной, так как тень лежить неправильно относительно источников света.
3. Также, несмотря на наличие фиксированной точки отсчета в кадре, глубина восприятия не становится лучше. Как только программа устанавливает точку отсчета, она игнорирует факт того, что один объект находится ближе другого, что приводит к неправильному отображению объекта в кадре.

 

В качестве экземпляра оборудования VR, я выбрал Playstation VR, это один из лучших шлемов виртуальной реальности на данный момент. Единственно важной установленной проблемой VR, на сегодняшний день, является перегрузка зрения. Я попросил несколько человек попользоваться шлемом 40-60 минут, после чего заметил следующее:

• Используя шлем на протяжении получаса у некоторых появляются первые признаки перегрузки зрения.
• Спустя час использования шлема, перегрузка зрения возникает почти у всех.
• Возможно это совпадение, но у людей со слабым вестибулярным аппаратом перегрузка зрения возникала немного раньше, чем у стальных.
• Люди со слабым вестибулярным аппаратом могут испытывать неприятные ощущения при использовании устройства VR.

Шлем использовался на протяжении недели. Хоть эта проблема и индивидуальна для каждого, ощущения при перегрузке зрения у всех примерно одинаковы.

Если это не сильная перегрузка, то возникают:

• Легкое укачивание
• Ощущение того, что и реальный мир виртуален.

Если перегрузка сильная, то возникают:

• Более серьезные проблемы с оценкой расстояния.
• Увеличивается ощущение виртуальности реального мира.
• Сильное укачивание
• Головокружение

Самым простым и очевидным решением было - снижение времени использования шлема. Попробовав поэкспериментировать со временем использования, я выявил, что лучше всего пользоваться шлемом 15-20 минут, после чего лучше сделать перерыв на 5 минут. Тогда даже при использовании шлема на протяжении двух, а то и трех часов, перегрузка будет совсем легкой, либо ее вовсе не будет. Также со временем глаза привыкают и нагружаются меньше.

 

ЗАКЛЮЧЕНИЕ

VR и AR похожи, потому имеют общие технические проблемы, но также и свои уникальные осложнения. У AR большой потенциал, при должном развитии у нее будет много полезных применений в повседневной жизни, в отличие от VR, большая часть технологий AR - портативные очки, такие как Google Glass,  Microsoft Hololens.

VR возник значительно раньше AR, потому более продвинут, а сейчас развивается в разы быстрее, чем раньше, так как в игровой индустрии люди гонятся за погружением в атмосферу и историю игры, что мотивирует инженеров придумать более продвинутые шлемы VR. Лучшими из них являются: Oculus Rift, Playstation VR и HTC Vive.

Итак, обе платформы очень хороши, поэтому решающим фактором становится стоимость устройств и их функции. Хороший VR стоит от 25-50 тысяч, в основном они существуют для развлечений, но их также можно использовать и в обучении, и в прочих симуляциях. Единственным AR отличного качества, по моему субъективному мнению, является Microsoft Hololens. Эти очки обладают отличным программным обеспечением, большим функционалом в сравнении с другими устройствами, однако, цена таких очков составляет 290 000 рублей. Далеко не каждый может позволить себе купить очки за такую стоимость. Так как остальные очки AR имеют более узко-направленные возможности, они не так уж актуальны, но несмотря на все это, они обладают хорошим потенциалом в будущем.

Исходя из этих фактов, я заключаю, что на данный момент выбор технологий VR более актуален, так как более развит и доступен.