Сравнение Свёрточной И Трансформерной Архитектур В Задаче Классификации Музыкальных Произведений По Жанрам На Основе Спектральных Признаков Аудиосигнала

Введение

Объёмы музыкального контента в стриминговых сервисах и цифровых библиотеках давно превысили порог, за которым ручная каталогизация перестаёт быть реалистичной, тогда как жанровая метка остаётся базовым элементом навигации, рекомендаций и организации архивов. Поэтому автоматическое определение жанра составляет одну из опорных задач области music information retrieval.

Первые работоспособные решения опирались на признаки, спроектированные вручную: классическая постановка Дж. Цанетакиса и П. Кука объединяла тембральные, ритмические и текстурные дескрипторы и давала точность около 61 % на наборе GTZAN [9]. Такие системы ограничены выразительной силой самого признакового описания — на полифоническом материале с сильным спектральным перекрытием качество падает. Смена парадигмы произошла с внедрением глубоких сетей, обучающихся извлекать представления прямо из спектрограммы: обзор К. Замана с соавторами фиксирует свёрточные сети и трансформеры как доминирующие архитектуры аудиоклассификации [10], К. Чой с соавторами — выигрыш гибридных свёрточно-рекуррентных моделей [2], а Ю. Гонг с соавторами предложили Audio Spectrogram Transformer (AST), достигший на бенчмарке AudioSet уровня state of the art [4].

Вместе с тем в прикладной ситуации разработчик почти всегда располагает ограниченным размеченным корпусом и ограниченными вычислительными ресурсами. Отсюда вопрос, которому посвящена работа: какой выигрыш даёт переход от компактной свёрточной сети, обучаемой с нуля, к тяжёлой предобученной трансформерной модели и какой ценой он достигается.

Материалы и методы

Экспериментальной базой служит поднабор FMA-small коллекции Free Music Archive [3]: 8 000 тридцатисекундных фрагментов, равномерно распределённых между восемью жанрами (Electronic, Experimental, Folk, Hip-Hop, Instrumental, International, Pop, Rock) по 1 000 на класс. Сбалансированность набора снимает проблему смещения модели в пользу частых классов уже на уровне данных. Использовано официальное стратифицированное разбиение авторов коллекции: 6 400 фрагментов для обучения, по 800 для валидации и тестирования. Четыре файла не декодируются вследствие повреждений MP3-потока и исключены, так что задействовано 7 996 фрагментов — 99,95 % исходного объёма.

Входным представлением выбрана логарифмическая мел-спектрограмма. Сигнал приводится к моно и частоте дискретизации 22 050 Гц, после чего к нему применяется кратковременное преобразование Фурье с окном Ханна длиной N = 2048 отсчётов (около 93 мс) и шагом H = 512 отсчётов (перекрытие 75 %). Мощностный спектр пропускается через банк из B = 128 треугольных фильтров, равномерно размещённых по мел-шкале в диапазоне 0–11 025 Гц. Сама мел-шкала аппроксимирует нелинейность слухового восприятия высоты тона:

где f — частота в герцах, m(f) — соответствующее значение в мелах.

Энергия в каждой мел-полосе суммируется и логарифмируется, что приводит динамический диапазон сигнала к перцептивно равномерной шкале громкости:

где X(m, k) — комплексный спектр m-го кадра, H_b(k) — отклик b-го мел-фильтра, b = 1, …, B. Выбор представления опирается на результаты Ф.-Р. Штётера с соавторами, где log-Mel показал лучшую классификационную способность для глубоких свёрточных сетей [8], и на сравнение методов предобработки аудио [1]. Признаки извлечены средствами библиотеки librosa [6] и кешированы в HDF5-контейнере в формате float32.

Тридцатисекундный фрагмент даёт матрицу 128 × 1290. На вход модели подаётся окно длительностью 5 с (128 × 216 кадров): на обучении оно вырезается случайно, при валидации и тестировании берётся центральное, а предсказание для трека агрегируется усреднением softmax-вероятностей по шести непересекающимся окнам.

Первая из сравниваемых моделей — свёрточная сеть, обучаемая с нуля. Она состоит из четырёх блоков с возрастающим числом фильтров (64 → 128 → 256 → 512); каждый блок включает две свёртки 3 × 3 с пакетной нормализацией и активацией ReLU и завершается слоем max-pooling с асимметричным ядром (2 × 2, 2 × 2, 2 × 4, 1 × 4). Глобальное усреднение по частотно-временной плоскости превращает карту признаков в вектор длины 512, который после dropout с вероятностью 0,5 подаётся на полносвязный слой с softmax-выходом на восемь классов. Общее число обучаемых параметров — около 4,69 млн.

Вторая модель — Audio Spectrogram Transformer в варианте контрольной точки, предобученной на AudioSet [4]. Он разбивает спектрограмму на перекрывающиеся патчи 16 × 16, кодирует их как последовательность токенов и обрабатывает трансформерным энкодером из двенадцати слоёв. Обучение такой модели с нуля на 6 400 фрагментах заведомо привело бы к переобучению, поэтому применена частичная заморозка: эмбеддинги патчей и первые восемь слоёв энкодера зафиксированы, дообучаются последние четыре слоя и классификационная голова, что сокращает число обновляемых параметров с 86,6 млн до примерно 28 млн. Такой режим переноса сохраняет универсальные акустические признаки, выученные на AudioSet, и снижает риск катастрофического забывания [5].

Обучение свёрточной модели дополнено аугментацией обучающей выборки: SpecAugment [7] с двумя временными масками шириной до 32 кадров и двумя частотными масками шириной до 16 мел-полос, а также mixup [11] с параметром бета-распределения α = 0,2; при дообучении трансформера аугментация не применялась. Обе модели обучались с перекрёстной энтропией и оптимизатором AdamW (косинусное расписание шага, регуляризация весов 1·10⁻⁴, смешанная точность, видеокарта NVIDIA T4 с 16 ГБ видеопамяти): свёрточная сеть — с шагом 1·10⁻³ и батчем 64 (47 эпох за 40 минут), трансформер — с шагом 1·10⁻⁵ и батчем 16 (около 1,5 часа). Обучение останавливалось по macro-F1 на валидации.

Качество оценивается на отложенной тестовой выборке из 800 фрагментов (по 100 на жанр). Основной метрикой выбрана macro-F1 — среднее значение F1-меры по классам без взвешивания:

где K — число жанров, P_i и R_i — точность и полнота для i-го класса. В отличие от доли верных ответов, она не маскирует систематическое проседание на отдельных жанрах. Дополнительно вычисляются accuracy, macro-усреднённые точность и полнота, top-3 accuracy и площадь под ROC-кривой в схеме «один против остальных»; доверительные интервалы получены бутстрапом по 1 000 итераций.

Результаты

Свёрточная сеть на тестовой выборке показала macro-F1 = 0,481 ± 0,032 при accuracy 0,501, top-3 accuracy 0,805 и ROC-AUC 0,836. Дообученный трансформер дал macro-F1 = 0,553 ± 0,031, accuracy 0,563, top-3 accuracy 0,813 и ROC-AUC 0,867. Разрыв по основной метрике составил 7,2 процентных пункта в пользу трансформера; сводное сопоставление приведено в таблице 1.

Таблица 1.

Результаты моделей на тестовой выборке FMA-small

Существенно, что при умеренной accuracy обе модели дают высокую top-3 accuracy: верный жанр попадает в тройку наиболее вероятных примерно в 80 % случаев, то есть ошибки носят характер путаницы между акустически близкими классами, а не полного промаха. Поклассовая разбивка (таблица 2) показывает, что различие между архитектурами неоднородно по жанрам.

Таблица 2.

Точность, полнота и F1-мера по жанрам

Структура ошибок свёрточной сети (рисунок 1, слева) определяется поведением класса Instrumental, который выступает своего рода «магнитом»: в него ошибочно попадает 0,41 доли фрагментов Experimental, 0,25 — Pop и 0,23 — Folk, поэтому при высокой полноте (0,75) точность для этого класса составляет лишь 0,36. Наиболее уверенно распознаётся Hip-Hop (полнота 0,78), тяжелее всего даются Pop (0,20), Folk (0,18) и Experimental (0,29).

Трансформер (рисунок 1, справа) ошибается иначе. Он заметно увереннее выделяет Electronic (0,73 против 0,52), Pop (0,43 против 0,20), Rock (0,75 против 0,59) и Hip-Hop (0,85 против 0,78), однако хуже справляется с инструментальной музыкой: полнота класса Instrumental падает до 0,36, а соответствующие фрагменты рассеиваются между Hip-Hop и Experimental. Кроме того, у него возникает собственный характерный паттерн — смешение Folk и Pop (0,40).

Рисунок 1. Матрицы ошибок на тестовой выборке: слева — свёрточная сеть, справа — дообученный трансформерОбсуждение

Разрыв в 7,2 процентных пункта подтверждает преимущество предобученного трансформера, но его величину следует оценивать вместе с затратами: трансформер превосходит свёрточную сеть примерно в восемнадцать раз по числу параметров и более чем вдвое по времени обучения, и на инференсе эта разница сохраняется.

Более содержателен вывод о характере ошибок. Различие в поклассовых метриках не сводится к равномерному сдвигу качества: свёрточная сеть выигрывает на инструментальной музыке (F1 0,48 против 0,42), тогда как трансформер превосходит её почти на всех остальных классах. Разумная интерпретация состоит в том, что свёртки опираются на локальные спектральные паттерны — характер атаки, гармоническую плотность, тембровые следы инструментов, — а механизм self-attention агрегирует глобальную структуру записи. Инструментальные композиции нередко лишены выраженной структурной повторяемости, и глобальный контекст для них менее информативен. Систематически различающиеся профили ошибок — необходимое условие выигрыша взвешенного ансамбля: предварительная оценка даёт прирост macro-F1 порядка 1,5–2,5 процентных пункта.

Качественный разбор неверно классифицированных фрагментов выявил три устойчивых паттерна, общих для обеих моделей: гибридные композиции (этнический материал с фольклорной структурой, поп-рок-записи); малоинформативные участки — интро и затухающие концовки, попавшие в анализируемое окно; артефакты MP3-сжатия низкого битрейта у ряда исторических записей коллекции. Второй и третий эффекты частично компенсируются усреднением по нескольким окнам трека, тогда как первый отражает не столько недостаток моделей, сколько нечёткость жанровых границ и самих аннотаций набора, на что указывают и его авторы [3].

Отсюда следуют рекомендации по выбору архитектуры. Для облачных сервисов, где точность важнее вычислительных затрат, оправдан дообученный трансформер; для встраиваемых и edge-сценариев предпочтительна свёрточная модель, обрабатывающая пятисекундное окно за 12 мс на графическом процессоре и за 95 мс на центральном.

Заключение

В работе построены и сопоставлены две модели жанровой классификации по log-Mel-спектрограммам в единых условиях официального разбиения набора FMA-small. Компактная свёрточная сеть из четырёх блоков, обученная с нуля, достигла macro-F1 = 0,481 ± 0,032; дообученный Audio Spectrogram Transformer с частично замороженным энкодером — macro-F1 = 0,553 ± 0,031 при восемнадцатикратно большем числе параметров. Обе модели уверенно распознают ритмически выраженные жанры и затрудняются с Folk, Pop и Experimental, однако профили их ошибок различаются: свёрточная архитектура точнее на инструментальной музыке, трансформерная — на большинстве прочих классов.

Практическая ценность результата — в количественном обосновании выбора архитектуры: переход к предобученному трансформеру даёт ощутимый, но не радикальный прирост качества. Дальнейшая работа предполагает расширение выборки до FMA-medium с иерархической жанровой таксономией, взвешенное ансамблирование рассмотренных моделей и переход к двухпотоковой архитектуре, принимающей одновременно log-Mel-спектрограмму и мел-частотные кепстральные коэффициенты.