СОВРЕМЕННЫЕ ПОДХОДЫ К ИСПОЛЬЗОВАНИЮ ВИДЕОКАМЕР И НЕЙРОСЕТЕЙ В БЕСПИЛОТНЫХ АВТОМОБИЛЯХ

Современные беспилотные автомобили в первую очередь решают проблему безопасности: по данным ВОЗ, ежегодно в ДТП погибает около 1,2 млн человек [3], и эффективные системы автономного вождения призваны существенно снизить эти потери. В основе подобных систем лежат сложные сенсорные комплексы, среди которых ключевую роль играют видеокамеры, дающие изображение окружающей обстановки. В отличие от лидаров и радаров, камеры передают «цветную» картинку и позволяют распознавать дорожные знаки и цвета светофоров, информация о которых недоступна лидарам и радарам. Большинство разработчиков беспилотных систем используют комбинацию сенсоров: например, компания Waymo делает ставку на лидары, тогда как Tesla полагается в основном на камеры и радары [4]. Камеры устанавливаются вокруг кузова автомобиля (широкоугольные фронтальные и боковые, а также камеры заднего вида) и обеспечивают полный обзор сцены. Видеопотоки с этих камер в реальном времени поступают на высокопроизводительные вычислительные узлы, где обрабатываются нейросетями. Такая система «компьютерного зрения» позволяет автомобилю видеть пешеходов, другие машины, разметку и знаки, ориентироваться в пространстве и распознавать динамические объекты. Именно камеры и нейросети в тандеме решают задачу определения цветовых сигналов: например, в одном из проектов Яндекса роботу-курьеру помогают две камеры и специальная нейросеть для распознавания цвета светофора – без этого робот не мог бы понимать, горит ли зеленый или красный свет [5].

Обработка видео ведётся с помощью глубинных нейронных сетей, главным образом сверточных (CNN), способных выделять и классифицировать объекты в кадре. В одном из подходов, использованном Tesla, каждое изображение с камеры передаётся на «голову» нейросети, обученную выполнять несколько задач одновременно: семантическую сегментацию (выделение участков дороги, тротуара и др.), детектирование объектов (автомобилей, пешеходов, знаков) и оценку расстояний по одному кадру (монокулярная оценка глубины). Затем отдельные сети получают видеопоток со всех камер одновременно и формируют «вид сверху» (bird’s-eye view) дороги, в котором отображается положение объектов в 3D-пространстве. Такой многоступенчатый процесс позволяет флоту Tesla учиться на реальных данных: по словам компании, ещё к 2020 году сеть обучали на более чем 3 млрд миль реального вождения. Обучение самих нейросетей – сложная задача: для полного набора сетей автопилота Tesla требуется порядка 70 тыс. GPU-часов вычислений. Аналогично строятся системы других производителей: например, Waymo также использует комплексы сверточных сетей, дополняя их передовыми методами машинного обучения. Новейшие исследования в Waymo включают так называемые «Foundation models» – большие трансформеры и мульти диалоговые сети, способные учитывать «знания мира» для генерации планов движения и предсказания траекторий участников дорожного движения. Для создания таких моделей компании активно используют симуляции с обратной связью: оценивается, как автономная система отреагирует на редкие, аварийные ситуации, и алгоритмы до обучаются для их обработки [1].

Конкретные зарубежные решения иллюстрируют эти принципы. Tesla – один из пионеров «чисто визуального» подхода: автомобили Tesla Vision снабжены восемью внешними камерами и обходятся без лидаров. Системы автопилота Tesla обучаются на поведении более чем 6 млн водителей и данных их вождения, что создаёт уникальную базу примеров. Тесла объявляет о выходе на рынок «нейрокомпьютера» собственной разработки (Dojo) для ещё более эффективного обучения. Другой пример – Waymo (Alphabet): эта компания на современном этапе комплектует свои автомобили пятью лидарными сенсорами, калибрует несколько радаров и – особенно – 29 видеокамер, установленных по всему периметру кузова. Такая мощная камера-система Waymo позволяет с высокой дальностью распознавать знаки (до 500 м) и мельчайшие детали. По последним данным Waymo, их «водитель-робот» проехал около 96 млн миль (154 млн км) без участия человека, а статистика по безопасности показывает сокращение серьёзных аварий более чем на 90% по сравнению со средним водителем. В целом же доля автомобилей с продвинутыми помощниками в США уже измеряется десятками миллионов, и доля массовых моделей с камерами для частичной или полной автономии неуклонно растёт [2].

В России также ведутся активные разработки в этой области. Так, группа инженеров из Казани создала первый в мире автомобиль, способный сдавать экзамен на права без инспектора: на базе Hyundai Solaris установили спутниковый навигатор, несколько камер и другие сенсоры, а нейросеть обучили точно распознавать дорожную разметку и сигналы светофора (именно эти элементы камеры «видят», а радары – нет). Другой пример – компания Cognitive Pilot (созданная при участии Сбербанка) представила нейросеть, значительно ускоряющую обучение систем автопилота. Её особенность – автоматическое выделение редких, сложных дорожных ситуаций (например, заслонённые светофоры или экстренные манёвры), что позволяет фокусировать обучение именно на критичных примерах. Эта технология уже находит применение, например, в автономных тракторах и трамваях. Компания Яндекс в своих доставочных роботах использует две камеры и нейросеть для распознавания сигнала светофора, а с 2019 года оснащает беспилотники отечественными твердотельными лидаром, объединяя их данные с камерным зрением. Таким образом, российские разработки применяют схожие методы: многоканальную визуализацию в сочетании с глубоким обучением.

Подводя итог, можно отметить: современные видеосистемы в беспилотниках – это многоуровневая архитектура, где камеры и нейросети взаимно дополняют друг друга. Камеры дают визуальную картину мира, а специальные CNN-алгоритмы превращают каждый кадр в символьное представление дорожной обстановки. Преимуществами такого подхода являются относительная дешевизна камер и богатство информации (цвет, текстура, детали), однако остаются технические вызовы – например, ухудшение видимости в плохую погоду, необходимость обработки больших объёмов данных в реальном времени и обеспечение безопасности ИИ-систем. Практика же показывает успехи: как со статистикой Waymo, так и с материалами Tesla, видно, что нейросетевые автопилоты становятся всё более надёжными и готовыми к широкому применению. В ближайшие годы ожидается дальнейшее совершенствование алгоритмов и расширение сферы коммерческой эксплуатации. Таким образом, сочетание видеокамер с глубоким обучением остаётся одним из ключевых направлений развития беспилотных автомобилей.