Введение
Augmented Reality или Дополненная реальность — это интерактивное взаимодействие с реальной средой, в которой объекты, находящиеся в реальном мире, дополняются сгенерированной компьютером информацией о восприятии. AR можно определить, как систему, которая включает в себя три основные функции: Сочетание реального и виртуального миров; Взаимодействие в реальном времени; Точное трехмерное совмещение виртуальных и реальных объектов. Наложенная сенсорная информация может быть конструктивной, то есть дополнять естественную среду, или деструктивной, то есть маскировать естественную среду. Этот опыт органично переплетается с физическим миром, так что он воспринимается как иммерсивный аспект реальной среды.
AR Foundation – разработка Unity Technologies, имеет глубокую интеграцию с возможностями среды Unity, от универсального конвейера рендеринга до Entity Component System. Среда разработки Unity MARS, основанная на платформе AR Foundation, позволяет разработчикам создавать приложения дополненной реальности, которые интеллектуально взаимодействуют с реальным миром и тестировать их в виртуальных симуляциях реального мира.
AR Foundation позволяет работать с платформами дополненной реальности на нескольких платформах в Unity. Этот пакет предоставляет интерфейс для использования разработчиками Unity, но сам не реализует какие-либо функции дополненной реальности. Чтобы использовать AR Foundation на целевом устройстве, также потребуются отдельные пакеты для целевых платформ, официально поддерживаемых Unity: Плагин ARCore XR для Android; Плагин ARKit XR для iOS; Плагин Magic Leap XR для Magic Leap; Плагин Windows XR для HoloLens.
В первую очередь для построения дополненной реальности необходимо отслеживать положение самого устройства, определить ключевые объекты на изображении и также отслеживать их положение относительно каждого кадра видеоизображения получаемого с камеры устройства. Ограничениями являются отсутствие дополнительных датчиков, кроме одной RGB камеры смартфона и инерциального измерительного устройства. Для распознавания изображений создадим библиотеку изображений, которые менеджер трекинга изображений будет использовать, это можно сделать инструментами Unity в окне проекта, нажав «Создать» и выбрав нужную категорию, создать ReferenceImageLibrary. Также с помощью интерфейса среды Unity нужно добавить используемые для построения сцены изображения, которые менеджер трекинга изображений будет отслеживать. Последним шагом для настройки отслеживания изображений будет выбор трехмерных моделей для их проецирования в реальном мире и указание ссылок на эти модели в настройках компонентов источника сессии AR.
Вместо использования локальных координат сцены для создания экземпляров трехмерных моделей можно использовать распознавание плоскостей для более реалистичного размещения модели в пространстве реального мира. Для этого нужно добавить компонент менеджера трекинга плоскостей объекту источника сессии AR. Информацию о обнаруженных плоскостях нужно сохранять в реальном времени и использовать для коррекции местоположения трехмерных моделей.
Рассмотрим реализацию сцены дополненной реальности с использованием географических координат. После настройки объекта AR сессии и объекта источника AR сессии, реализуем функционал определения географического положения с помощью скриптов. В дальнейшем с их использованием и скриптов-компонентов, предоставляемых средствами API AR Foundation, достаточно загрузить нужные трехмерные модели в среду Unity, определить их глобальное местоположение с помощью интерфейса инспектора Unity и при необходимости реализовать анимации. Так как трехмерные модели, используемые в создании сцен дополненной реальности, ничем не отличаются от типичных GameObject объектов среды Unity, возможна реализация любого функционала, предоставляемого средствами среды.
Последним этапом реализации любого приложения является его тестирование. В обычных условиях тестирование приложений дополненной реальности сильно ограничено из-за требований к местоположению и используемому устройству. Для простых решений этих и других проблем при тестировании приложений дополненной реальности Unity Technologies реализовало сопутствующих приложений, которые позволяют обращаться к реальным объектам и событиям как к GameObjects. Для реализации реконструкции боевых действий создадим сцену-префаб, так, чтобы она напоминала пересеченную местность и добавим эту среду как среду симуляции Unity MARS. Все необходимые настройки для эмуляции этой сцены как представление реального мира Unity MARS завершит автоматически, необходимо лишь установить вручную географические координаты местности
Рис 1. Тестирование приложения средствами Unity MARS
Рис 1. Сцена дополненной реальности «Реконструкция»
Заключение
Разработка приложений дополненной является очень перспективным направлением развития информационных технологий. Существующие инструменты создания подобных приложений, такие как AR Foundation, позволяют реализовывать уникальные сцены, погружающие пользователя в контекст той или иной локации реального мира
Список литературы
- Дополненная реальность. Все, что вы хотели узнать о технологии будущего / Папагианнис Хелен – издательство «Бомбора», 2019г – 288с.
- Practical Augmented Reality: A Guide to the Technologies, Applications, and Human Factors for AR and VR / Steve Aukstakalnis – «Addison-Wesley Professional», 1 издание, 2016. – 448 с.
- Augmented Reality: Principles and Practice / Dieter Schmalstieg, Tobias Hollerer – «Addison-Wesley Professional», 1 издание, 2016. – 496 с.
