МЕТОДЫ АУГМЕНТАЦИИ ДЛЯ ПОВЫШЕНИЯ РОБАСТНОСТИ TRANSFORMER-МОДЕЛЕЙ СЕМАНТИЧЕСКОЙ СЕГМЕНТАЦИИ: ОБЗОР И ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА НА CITYSCAPES-C

Семантическая сегментация - задача попиксельной классификации изображения, занимающая ключевое место в системах компьютерного зрения для автономного вождения, робототехники и анализа медицинских данных. Доминирующей парадигмой стали архитектуры на основе механизма self-attention: SegFormer демонстрирует 84,0% mIoU на валидационной выборке Cityscapes, превосходя CNN-подходы по точности и эффективности [1].

Вместе с тем развёртывание моделей в реальных условиях неизбежно сопряжено с распределительным сдвигом: искажения в виде атмосферных эффектов, шума сенсора, оптических аберраций и компрессионных артефактов существенно снижают качество предсказаний [2]. Трансформерные архитектуры обладают специфическим профилем уязвимости: механизм self-attention формирует признаки преимущественно на низкочастотных компонентах сигнала, порождая чувствительность к туману, изменениям яркости и контраста [3]. Кроме того, наблюдается эффект «переконцентрации» внимания (token overfocusing) - при внесении искажений модель начинает опираться на малое число patch-токенов с непропорционально высокими весами, что дестабилизирует карты внимания [4].

Цель настоящей работы — систематизировать методы аугментации, применимые к Transformer-моделям семантической сегментации, с акцентом
на AugMix, PRIME и AFA, и провести экспериментальную оценку
на бенчмарке Cityscapes-C для модели SegFormer-B2. Все три метода не зависят от конкретной архитектуры и встраиваются в обучающий конвейер
без модификации сети [5, 6, 7].

Бенчмарк оценки робастности

Для задачи семантической сегментации Kamann и Rother построили бенчмарк Cityscapes-C на основе датасета Cityscapes [8, 9], применив 15 типов синтетических искажений четырёх категорий (шум, размытие, погодные эффекты, цифровые артефакты) при 5 уровнях интенсивности. Основная метрика - mean Intersection over Union (mIoU):

 (1)

Для характеристики деградации вводится Retention Rate (RR) - отношение mIoU на искажённых данных к mIoU на чистых, выраженное в процентах:

 (2)

Значение RR, близкое к 100%, свидетельствует о высокой устойчивости модели. Метрика позволяет сопоставлять методы с различным уровнем базовой точности.

Методы аугментации

AugMix

AugMix (Augmentation Mixing) предложен Dan Hendrycks [5] и опубликован на ICLR 2020. Метод строит k цепочек преобразований x_i^aug из фиксированного набора базовых операций A={a₁, a₂, …, a_k}и формирует смешанное изображение:

 (3)

Коэффициенты w выбираются из распределения Дирихле, гарантируя выпуклую комбинацию. Дополнительно вводится штраф на основе расстояния Дженсена–Шеннона (JSD):

 (4)

 (5)

Применительно к Transformer-архитектурам AugMix не разрушает глобальный контекст, необходимый механизму self-attention. Штраф JSD регуляризует карты весов токенов, вынуждая модель формировать устойчивые предсказания при вариациях входа.

PRIME

PRIME (A Few Primitives Can Boost Robustness) предложен Apostolos Modas [6] и представлен на ECCV 2022. Метод строит трансформации на основе принципа максимальной энтропии: генерируются искажения различных доменов, включая пространственные деформации и цветовые преобразования. Гладкие деформации реализуются через случайное поле смещений:

 (6)

Случайные цветовые трансформации задаются с максимально-энтропийным распределением параметров:

 (7)

PRIME интегрируется в пайплайн обучения как этап предобработки без модификации архитектуры. Пространственные деформации побуждают модель строить токен-признаки, не зависящие от конкретной текстуры или локальной формы объекта, что особенно важно для иерархических Transformer-энкодеров.

AFA (Auxiliary Fourier-basis Augmentation)

AFA предложен Puru Vaish [7] (CVPR 2024). Метод восполняет «разрыв аугментации» (augmentation gap) в частотной области: стандартные визуальные аугментации воздействуют на пространственное содержимое изображения, оставляя незаполненной область спектральных возмущений. AFA вводит аддитивный шум в спектр Фурье:

 (8)

 (9)

 (10)

Параметр μ управляет масштабом возмущений. Модель обучается одновременно на аугментированных и оригинальных примерах без изменения функции потерь [10]. Для ViT-подобных архитектур AFA нарушает низкочастотную индуктивную предвзятость, расширяя спектральный диапазон, по которому модель строит инвариантные представления.

Экспериментальное исследование

В качестве исследуемой модели выбрана предобученная на Cityscapes архитектура SegFormer-B2 (nvidia/segformer-b2-finetuned-cityscapes-1024-1024). Эксперименты проводились в среде Google Colaboratory на GPU NVIDIA Tesla T4 (15 ГБ VRAM). Параметры дообучения: 5 эпох, батч равный 2, разрешение изображения 512×1024, оптимизатор AdamW, lr = 6×10⁻⁵, кросс-энтропийная функция потерь. Число эпох намеренно ограничено для соблюдения вычислительных ограничений платформы. Каждый метод аугментации применялся по отдельности; сравнение производилось относительно базового варианта (SegFormer-B2 без аугментации) по метрикам mIoU_clean, mIoU_С_avg.

По результатам экспериментов все три метода дали прирост mIoU на Cityscapes-C, однако характер улучшений существенно зависит от типа искажений (рисунок 1). По группе Noise (gaussian, shot, impulse) прирост наиболее значителен: PRIME и AFA практически вдвое увеличивают mIoU относительно baseline. В группе Blur лидирует AugMix. Для Weather-искажений лучшим оказывается PRIME, тогда как прирост по Digital-группе у всех методов умеренный ввиду исходно высокой устойчивости базовой модели.

Таблица 1.

Лучшие значения mIoU по группам искажений

Группа	Лучший метод	mIoU baseline	mIoU лучший	Δ mIoU	Коэфф. ×
Noise	AFA	0.266	0.560	+0.294	2.11
Blur	AugMix	0.549	0.585	+0.037	1.07
Weather	PRIME	0.474	0.552	+0.078	1.16
Digital	PRIME	0.641	0.666	+0.026	1.04
ALL avg	PRIME	0.497	0.586	+0.090	1.18

 

Рисунок 1. mIoU по типам искажений: Baseline / AugMix / PRIME / AFA

Заключение

В данной работе проанализированы три метода аугментации - AugMix, PRIME и AFA, применимых как к CNN-, так и к Transformer-архитектурам. Каждый из методов затрагивает различные аспекты уязвимости Transformer-моделей: AugMix регуляризует механизм внимания через JSD-согласованность, PRIME обеспечивает широкое покрытие пространственных и цветовых деформаций на основе принципа максимальной энтропии, а AFA воздействует на низкочастотную индуктивную предвзятость ViT-подобных энкодеров.

Экспериментальная оценка SegFormer-B2 на Cityscapes-C показала, что все три метода улучшают устойчивость к синтетическим искажениям. PRIME обеспечивает наибольший средний прирост качества, AFA особенно эффективен для шумовых искажений, а AugMix демонстрирует наилучшие результаты в группе размытия.