Airbus разработал проект ATTOL (Autonomous Taxi, Take-Off and Landing), в рамках которого компания в течение трёх лет исследовала возможности автономного полета в коммерческой авиации.
За это время экспериментальные самолёты Airbus выполнили более 500 испытательных полетов, 450 из которых были направлены на сбор данных, необходимых для настройки алгоритмов, в то время как отдельная часть программы была уделена непосредственно полётам в автоматическом режиме. Так, в ходе проекта ATTOL испытательные самолеты Airbus успешно выполнили серию рулений, взлётов и посадок в полностью автоматическом режиме с использованием бортовой системы распознавания изображений, впервые примененной в коммерческой авиации.
Разработчики предполагают, что системы технического зрения, изображения в которых обрабатываются алгоритмами, могут быть достаточно точны, чтобы обеспечивать взлет и посадку самолета только по изображениям с камер и данным спутниковых систем глобального позиционирования.
Проект ATTOL был инициирован Airbus с целью изучения того, как автономные технологии, включая использование алгоритмов машинного обучения и автоматизированных инструментов для маркировки данных, обработки и генерации моделей, могут помочь пилотам меньше концентрироваться на эксплуатации воздушного судна и больше на принятии стратегических решений и управлении полетами. Airbus теперь может анализировать потенциал этих технологий для улучшения будущих полетов воздушных судов, одновременно повышая безопасность воздушных судов, обеспечивая поддержание беспрецедентного уровня на сегодняшний день.
Airbus здесь использует проект ATTOL для разработки чего-то, что позволит достичь точности посадки ILS без инфраструктуры аэропорта. Это было бы весьма впечатляюще.
ATTOL будет работать, опираясь на ценный вклад другого проекта Airbus под названием ‘Wayfinder’. При этом используется лидар (технология измерения расстояния путём излучения света) и камеры. Бортовые компьютеры будут сравнивать то, что видят датчики самолета, с реальной базой данных. Это позволит самолету знать, где он находится, с высокой точностью.
Wayfinder
На рисунке показано фотореалистичное моделирование, которое позволяет Wayfinder быстро обучать и тестировать нейронные сети на больших, масштабируемых и легко настраиваемых наборах данных. Здесь имитируется камера, обращенная вперед, при последнем заходе на посадку на взлетно-посадочную полосу 9 в международном аэропорту Сан-Диего. Архитектура нейронной сети способна обнаруживать взлетно-посадочные полосы и разметку ВПП, а также оставшееся расстояние до ВПП и вертикальные и боковые отклонения от номинальной траектории захода на посадку.
Рис. 1. Маркировка ВПП 9 в аэропорту Сан-Диего.
Для автономных систем технология делится на программную и аппаратную.
Программное обеспечение позволяет самолету воспринимать окружающую среду и решать, как лучше действовать. В основе программного обеспечения лежат методы восприятия, основанные как на алгоритмах машинного обучения, так и на традиционном компьютерном зрении.
Аппаратное обеспечение включает в себя набор датчиков и компьютер, необходимый для подачи и запуска программного обеспечения.
Рисунок 2: Экспериментальная конфигурация датчиков на демонстрационном автомобиле Vahana Alpha, включая камеры, радар и лидар.
Ручная маркировка данных для машинного обучения на основе зрения и ИИ
Программное обеспечение для восприятия и принятия решений Project Wayfinder, предназначенное для обеспечения автономного полета, в значительной степени зависит от алгоритмов машинного обучения на основе зрения, которые требуют больших объемов данных. Однако необработанные данные сами по себе бесполезны, если их не обрабатывать и не маркировать. Таким образом, правильная маркировка данных является ключом к идентификации интересующих объектов с целью кодирования их типа и атрибутов в формат, который может быть легко обработан алгоритмом машинного обучения.
Проблему контроля качества ручных меток для обнаружения объектов легко упустить из виду, отчасти потому, что распространенные модели машинного обучения, ориентированные на зрение, сосредоточены на обнаружении довольно крупных объектов на небольших изображениях. Типичным примером является обнаружение кошек и собак, занимающих более 50% изображения размером 1 мегапиксель или менее (см. пример на рис. 3).
Рис. 3. Распознавание живого объекта (собака).
Пример обычной задачи обнаружения (например, крупный объект на маленьком изображении) в сравнении с обнаружением потенциальной воздушной угрозы с помощью системы предотвращения столкновений Wayfinder
Слабо отрегулированные ограничительные рамки, превышающие размер объекта на 70 пикселей в горизонтальном и вертикальном измерениях, приведут к ошибке всего в два процента от истинного размера объекта. Такой предел погрешности остается управляемым и может не привести к значительному снижению эффективности обнаружения, если выборка достаточно велика и нет систематических отклонений в фоновом изображении, полученном в пределах ограничивающих рамок (например, отсутствие зеленого фона для всех собак и белого фона для всех кошек).
Ручная маркировка данных для автономного полета
Однако захват взлетно-посадочной полосы в шести километрах от самолета или обнаружение дрона шириной в один метр на расстоянии одного километра от бортовой камеры — это совершенно другая проблема, как показано в визуальном сравнении выше. Разрешение камеры и результирующий размер изображения, необходимые для этих задач, обычно в десять-шестнадцать раз больше, чем указано выше. Кроме того, размер обнаруживаемого объекта может составлять всего 20 на 20 пикселей, что составляет менее 1 процента от общей площади изображения. Ошибка в два процента, применяемая к обнаружению воздушного объекта, представляет собой ограничивающую рамку, которая не должна превышать размер объекта более чем на 3 пикселя в горизонтальном и вертикальном измерениях. Такой высокой точности чрезвычайно трудно достичь с помощью маркировки вручную, поэтому маркировщики должны увеличивать масштаб каждого изображения до тех пор, пока не будут видны отдельные пиксели, и ограничивающая рамка может быть плотно установлена вокруг объекта с точностью до нескольких пикселей.
Рис. 4. Маркировка маленького объекта.
Маркировка, необходимая для применения Wayfinder, обычно требует от 40 до 60 секунд на изображение при ручной маркировке и трех проходов по набору данных для получения нужного качества. Набор данных из 100 000 изображений требует примерно от 1 до 1,5 месяцев работы с командой из 12-18 маркировок, работающих 24/7. Помимо недостаточной масштабируемости подхода для такого уровня качества данных, средства контроля качества метки также являются проблемой. Систематическая ручная проверка непрактична и страдает от тех же ограничений, что и первоначальная работа по маркировке.
Роль управления данными и маркировки данных в машинном обучении на основе видения и ИИ.
1. Весь набор данных изображений аннотируется с использованием большого количества ручных маркировок.
2. Качество каждой метки оценивается с использованием алгоритмов компьютерного зрения, отличных от машинного обучения, количественно определяющих, насколько далеко каждая ограничивающая рамка находится от целевого объекта (например, с использованием анализа гистограммы и традиционных методов сегментации изображения).
3. Исправленная ограничивающая рамка генерируется автоматически на основе результата шага 2
4. Примечание для ручной маркировки генерируется автоматически на основе разницы между исправленной ограничивающей рамкой и первоначально нарисованной вручную (например, “проверьте, не слишком ли мала новая ограничивающая рамка”).
5. Шаг 1 повторяется со всем набором данных, предоставляя автоматически исправленную ограничительную рамку и примечание для каждого изображения для ручной проверки
6. Шаги 1-5 повторяются до тех пор, пока разница между метками, нанесенными вручную, и автоматически скорректированными метками не уменьшится ниже желаемого порога.
Как вы можете видеть из приведенного выше примера, ручная маркировка не масштабируется за пределы определенного объема данных и создает проблему в достижении и поддержании точности и согласованности типов меток, необходимых для восприятия Wayfinder и принятия решений приложениями для автономных самолетов. Благодаря автоматизированному процессу, использующему программную маркировку и/или модели машинного обучения, этот процесс может быть значительно улучшен. Что еще более важно, ручная маркировка просто не подходит в тех случаях, когда точные параметры самолета, такие как положение и ориентация, должны быть связаны с синхронизированным по времени изображением или другим образцом данных.
Маркировка данных
Процесс маркировки данных Wayfinder состоит из трех этапов: во-первых, собираются все изображения взлетно-посадочных полос, сделанных во время захода на посадку в ходе кампании по сбору данных. Во-вторых, рисуются границы взлетно-посадочной полосы, порог, центральная линия и точки прицеливания внутри каждого выбранного изображения, то есть объекты, которые предназначены алгоритмом машинного обучения для обнаружения (см. рисунок 5). В-третьих, сохраняются пиксельные координаты углов каждого прямоугольника и прикрепляются к изображению. Угловые точки прямоугольников — это средство кодирования местоположения взлетно-посадочной полосы и других объектов, представляющих интерес на изображении, на языке, который алгоритм может понять и использовать для обучения.
Рис. 5: Метки изображений объектов, распознаваемых алгоритмом автоматической посадки Wayfinder.
Точность метки важна, потому что алгоритм обучается на основе достоверных данных, поэтому распределение ошибок в наборе данных достоверности также будет найдено в хорошо обученном алгоритме. Это означает, что качество меток в конечном счете определяет качество обученного алгоритма машинного обучения.
Завершая этот проект, Airbus достиг полностью автономного руления, взлёта и посадки коммерческого самолёта с помощью автоматических лётных испытаний, основанных на визуальном контроле с использованием бортовой технологии распознавания изображений - первой в мире в авиации.
Список литературы
- https://acubed.airbus.com/blog/wayfinder
- https://medium.com/unpackai/methods-of-data-labeling-in-machine-learning-80a34ece6c8b
- https://www.aerotime.aero/articles/25302-airbus-attol-demonstrates-fully-autonomous-flight-capacities
- https://www.airbus.com/sites/g/files/jlcbta136/files/2021-11/Airbus-Commercial-Aircraft-AC-A350-900-1000.pdf
- https://www.airbus.com/en/innovation/autonomous-connected/autonomous-flight