ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЯ

Качество изображения – это взвешенная комбинация всех визуально значимых атрибутов изображения [1]. В условиях стремительного роста объемов визуальных данных особую актуальность приобретает задача автоматизированной оценки их качества. Данная задача особенно остро стоит в областях, требующих массовой обработки изображений, например, анализ фотографий, сделанных в процессе репортажной съемки. Для решения этой задачи существуют методы оценки качества изображений (Image Quality Assessment, IQA), включающие как экспертные подходы к анализу, так и алгоритмические методы.

Методы оценки качества изображений принято разделять на две основные категории: субъективные и объективные, причем их результаты далеко не всегда коррелируют между собой. Субъективные методы базируются на психофизиологических особенностях человеческого восприятия и отражают индивидуальную оценку качества наблюдателем. Объективные методы, напротив, используют формальные алгоритмы для количественного анализа характеристик изображения. Алгоритм может дать одинаковое значение для изображения и его измененных или деградированных версий, в то время как субъективный метод может воспринять резкий контраст в качестве того же изображения и его версий.

Субъективные методы оценки качества изображений классифицируют по типу предъявляемого стимула на два основных вида:

1. Метод одиночного стимула (Single-Stimulus) – испытуемому демонстрируется только тестовое изображение без возможности сравнения с эталоном. Данный подход имитирует условия, когда исходное (неискаженное) изображение неизвестно наблюдателю.
2. Метод парного сравнения (Double-Stimulus) – предусматривает одновременное или последовательное предъявление как исходного, так и тестового изображения. Такой формат позволяет проводить непосредственное сопоставление и выявлять даже незначительные различия в качестве.

Объективные методы оценки качества изображений принято классифицировать по объему доступной эталонной информации на три основные группы:

1. Полнореференсные методы (Full-Reference IQA), применяются при наличии полного эталонного (неискаженного) изображения для сравнения с тестовым образцом. Эта группа методов находит широкое применение при анализе алгоритмов сжатия и обработки изображений. Наиболее распространенные метрики: PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index Measure), FSIM (Feature Similarity Index Measure), LPIPS (Learned Perceptual Image Patch Similarity).

2. Полуреференсные методы (Reduced-Reference IQA), используются в условиях частичной доступности эталонных данных. В данной группе методов для сравнения и измерения качества искаженного изображения используется не эталонное изображение, а изображение с некоторой выборочной информацией о нем, например, изображение с водяным знаком, бинарные маски, негативы, статистики о распределении цвета и тому подобное. Популярные метрики группы: RNIQE (Reduced-reference Natural Image Quality Evaluator), IR-TID2013, S3T (Structural Similarity Statistics for Reduced-Reference).

3. Нереференсные методы (No-Reference IQA): алгоритмы этой группы работают исключительно с тестовым изображением, анализируя его внутренние характеристики, такие как: гистограмму яркости, текстуры, статистики и искажения, естественность цвета, шумы и другие. Ключевые представители данной группы методов: BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator), MusiQ (Multiscale Image Quality), TOPIQ (Top-Down Image Quality Assessment).

Для проведения сравнительного анализа нереференсных метрик оценки качества изображений (No-Reference IQA) был подготовлен синтетический датасет (Таблица 1).

Таблица 1.

Набор данных для сравнения NR-IQA метрик

Набор данных включает 9 вариантов: одного исходного, корректно экспонированного, изображения и восемь с измененной экспозицией в диапазоне от -2,0 до +2,0 EV с шагом 0,5.  В идеальном случае зависимость качества от экспозиции должна описываться параболической кривой с максимумом при нулевом отклонении и минимумами на крайних значениях (-2,0 и +2,0).

В научной литературе описано множество нерефенсных алгоритмов оценки качества изображения (NR IQA). В сети Интернет имеется несколько их реализаций в специализированных библиотеках (PIQ, BRISQUE и другие), но больше всего реализаций алгоритмов представлено в библиотеке pyiqa [2].

В рамках исследования был протестирован 41 алгоритм, относящийся к классу NR-IQA, основанный на 19 методах (включая 4 традиционных алгоритмических подхода и 15 современных решений на основе нейронных сетей).

График 1. Нормализованные значения метрик NR-IQA

По результатам проведенного исследования большинство метрик продемонстрировали некорректную динамику: линейно возрастающие, линейно уменьшающие, синусоидные. Наиболее приближенные значения к ожидаемым были получены у метрики liqe_mix, arniqa-spaq, topiq_nr-spaq, clipiqa+, clipiqa+_rn50_512, musiq-paq2piq и paq2piq (показаны на рисунке 1).