Введение
Беспилотные авиационные системы (БПЛА) все шире применяются для мониторинга объектов водоснабжения и водоотведения (ВиВ), обеспечивая получение высокодетализированных мультимодальных данных: ортофотопланов (разрешение до 1 см/пикс), термограмм (до 10 см/пикс), мультиспектральных изображений и облаков точек LiDAR (10–50 точек/м²). Однако лавинообразный рост объемов этих данных делает традиционные методы обработки (визуальный контроль, фотограмметрия, ГИС) недостаточно эффективными. Согласно исследованиям, ручной анализ инженером-дефектоскопистом требует от 2 до 8 часов на один объект, а пропуск дефектов на ранних стадиях достигает 20–30%.
В последние годы методы искусственного интеллекта активно внедряются в задачи мониторинга инфраструктуры. Для гидротехнических сооружений показана эффективность архитектур U-Net и DeepLab для сегментации дефектов, а YOLO – для обнаружения объектов. Прогнозирование временных рядов параметров состояния сооружений успешно реализуется с использованием LSTM и гибридных моделей.
Цель настоящей работы – разработка и апробация комплекса методов интеллектуальной обработки мультимодальных данных БПЛА для автоматизированного выявления дефектов и раннего прогнозирования деградационных процессов объектов ВиВ.
Материалы и методы
Формальная постановка задачи
Пусть имеется множество объектов мониторинга O={o1,...,on}. Для каждого объекта в моменты времени T={t1,...,tm} с помощью БПЛА формируется набор данных Xt={Ivis,Itherm,Imulti,Plidar}. Основной задачей является построение функции F(X)→S, определяющей состояние объекта. Состояние SS кодируется как кортеж:
S=(s_class,s_severity,s_trend,s_remaining_time)
где s_class ∈ {норма, трещина, коррозия, фильтрация, деформация}, s_severity ∈ [0,1] – степень деградации, s_trend – тренд, s_remaining_time [дни] – прогнозируемое время до критического порога.
Предобработка данных
Для каждого типа данных применены специализированные методы фильтрации:
1. Медианная фильтрация изображений: окно 3×3 пикселя,
g(x,y)=median{f(x+i,y+j)∣i,j∈[−1,0,1]}.
где g(x,y) – выходное значение фильтра в точке (x,y), f(x+i,y+j) – входные значения пикселей в окрестности, i,j – смещения по осям X и Y (от -1 до 1), [−1,0,1] – координаты ядра 3×3 пикселя.
2. SOR-фильтрация облаков точек LiDAR (Statistical Outlier Removal): для каждой точки вычисляется среднее расстояние до kk ближайших соседей, точка удаляется при di>μ+α⋅σ.
где di – среднее расстояние от i-й точки до k ближайших соседей, μ – среднее арифметическое всех di по облаку точек, σ – стандартное отклонение всех di, α – смльтипликатор (коэффициент).
Рекомендованные параметры: k=50, α=1,0−1,5.
3. CLAHE (Contrast Limited Adaptive Histogram Equalization) для коррекции пересветов: clipLimit=2.0, tileGridSize=(8,8).
Типовые артефакты БПЛА и методы их устранения приведены в таблице 1.
Таблица 1.
|
Тип артефакта |
Причина |
Метод устранения |
Параметры |
|
Смаз (motion blur) |
Скорость БПЛА >10 м/с |
Деканволюция (Wiener filter) |
SNR 20–30 дБ |
|
Пересвет (overexposure) |
Яркое солнце, отражение |
CLAHE |
clip_limit=2.0, grid=8×8 |
|
Тени (shadows) |
Низкое солнце |
Retinex-коррекция |
Масштаб экспериментально |
|
Выбросы в облаке точек |
Многолучевость |
SOR-фильтрация |
k=50, α=1,5 |
Архитектура нейросетевых моделей
Сегментация дефектов (U-Net). Выбор U-Net обоснован наличием skip-connections, позволяющих сохранять пространственную информацию для локализации мелких дефектов (трещины шириной 2–5 пикселей). Физическая интерпретация: трещины (высокочастотные признаки) сохраняются через ранние skip-соединения (уровни 1–2), зоны фильтрации (низкочастотные) – через поздние (уровни 3–4).
Прогнозирование деградации (LSTM). LSTM выбран ввиду способности учитывать долгосрочные временные зависимости, что критически важно для медленно развивающихся процессов деградации (осадка, коррозия). Механизм вентилей LSTM интерпретируется физически: forget gate забывает кратковременные флуктуации, input gate записывает новое повреждение, cell state хранит интегральную меру накопленного повреждения.
ct=ft⊙ct−1+it⊙gt
Метрики оценки
Качество сегментации оценивалось по метрикам Precision, Recall, F1-score и IoU:
IoU=∣Mpred∩Mtrue∣∣Mpred∪Mtrue∣, F1=2⋅Precision⋅RecallPrecision+Recall
Точность прогнозирования – по MAE и RMSE.
Результаты
Формирование базы данных
База данных сформирована по результатам многолетних облетов объектов ВиВ. Разметка (ground truth) выполнена с привлечением экспертов. Процедура валидации: групповая 5-кратная кросс-валидация по объектам (во избежание утечки данных), распределение выборки 60/20/20.
Детектирование дефектов (U-Net)
Результаты применения U-Net на тестовой выборке представлены в таблице 2.
Таблица 2.
Результаты применения U-Net на тестовой выборке
|
Тип дефекта |
Precision |
Recall |
F1 |
IoU |
|
Трещина |
0,87 |
0,91 |
0,89 |
0,78 |
|
Фильтрация |
0,94 |
0,92 |
0,93 |
0,87 |
Значение F1 > 0,85 для класса «трещина» считается приемлемым для задач мониторинга инфраструктуры. Аналогичные результаты (F1=0,84–0,91) получены в независимых исследованиях по сегментации дефектов гидротехнических сооружений.
Сравнение с бейзлайн-методом (пороговая сегментация по тепловому каналу) показало повышение F1 на 37% для трещин и на 25% для фильтрации при использовании U-Net (таблица 3).
Таблица 3.
Сравнение с бейзлайн-методом
|
Метод |
F1 (трещина) |
F1 (фильтрация) |
Время обработки (мин/кадр) |
|
Пороговая сегментация |
0,52 |
0,68 |
0,5 |
|
U-Net (предложенный) |
0,89 |
0,93 |
3,0 |
Временные затраты снизились с 2–8 часов (ручной анализ) до 10–30 минут на объект при использовании GPU.
Прогнозирование деградационных процессов (LSTM)
Модель LSTM обучалась на временных рядах параметров осадки сооружений (10+ временных точек). Сравнение с ARIMA показало снижение MAE на 20–25% и RMSE на 15–20%. Достигнутая точность: MAE = 2,3 мм, RMSE = 3,1 мм (горизонт прогноза – 3 месяца). Эти результаты согласуются с данными других исследований, где LSTM демонстрирует преимущество в моделировании нелинейных зависимостей по сравнению с классическими методами.
Для сценариев многошагового прогнозирования (5 дней) модель сохраняет R2>0,7R2>0,7, что свидетельствует о пригодности для краткосрочного прогнозирования при частичном отсутствии граничных условий.
Пространственно-временной анализ (k-means)
Кластеризация мультиспектральных данных (NDWI и другие спектральные индексы) позволила выделить зоны с различным уровнем загрязнения акватории. Выбор числа кластеров осуществлялся по методу «локтя» и коэффициенту силуэта. Интеграция результатов с ГИС обеспечивает визуализацию пространственного распределения загрязнений.
Обсуждение
Сравнение с аналогами
Предложенный комплекс отличается от известных решений интеграцией трех типов задач в единой архитектуре: сегментация дефектов, прогнозирование деградации и пространственная кластеризация. Это позволяет перейти от реактивного к предиктивному управлению инфраструктурой.
Ограничения методов
U-Net. Ложные срабатывания (FP) на участках с мокрым бетоном достигают 12%, на тенях от сооружений – 8%. Пропуски дефектов (FN): трещины шириной <2 пикселей (при съемке с высоты >50 м) – до 15%. Решения: аугментация обучающей выборки тенями, использование теплового канала в паре с RGB (FP снижаются на 30%).
LSTM. Требует не менее 10 временных точек для обучения. При частоте облетов реже 1 раза в год модель не обучается. Рекомендуемый горизонт прогноза – ≤1/3 длины истории.
Переносимость моделей. Снижение IoU при переносе между типами сооружений (резервуар → трубопровод) составляет 15–25%, требуется дообучение на 50–100 размеченных кадрах целевого типа объекта.
Перспективы развития
Дальнейшие исследования будут направлены на применение Transformer-архитектур для сегментации (при накоплении достаточного объема данных), использование генеративно-состязательных сетей (GAN) для улучшения подводных изображений, а также федеративное обучение для объединения данных различных организаций без нарушения требований безопасности.
Заключение
В работе разработан и апробирован комплекс методов интеллектуальной обработки данных мониторинга ВиВ с применением БПЛА:
- U-Net обеспечивает сегментацию дефектов с F1=0,89–0,93, что на 37% выше пороговых методов.
- LSTM прогнозирует деградационные процессы с ошибкой MAE=2,3 мм, снижая MAE на 20–25% по сравнению с ARIMA.
- k-means на мультиспектральных данных выделяет зоны загрязнения акватории.
- Предложенная многоуровневая архитектура программного комплекса интегрирует все этапы обработки данных.
Разработанные методы могут быть внедрены в существующие ГИС-системы предприятий ВиВ для автоматизации мониторинга и поддержки принятия решений, что подтверждается сокращением временных затрат на анализ с 2–8 часов до 10–30 минут на объект.
Список литературы
- Colomina I., Molina P. Unmanned aerial systems for photogrammetry and remote sensing: A review. ISPRS Journal of Photogrammetry and Remote Sensing. 2014;92:79-97. DOI: 10.1016/j.isprsjprs.2014.02.013
- Nex F., Remondino F. UAV for 3D mapping applications: A review. Applied Geomatics. 2014;6(1):1-15. DOI: 10.1007/s12518-013-0120-x
- Ellenberg A., Kontsos A., Moon F., Bartoli I. Bridge deck delamination identification from unmanned aerial vehicle infrared imagery. Automation in Construction. 2016;72:155-165. DOI: 10.1016/j.autcon.2016.03.004
- Huang X., et al. Deep learning-based defect identification in hydraulic structures: A comprehensive review. Journal of Hydro-environment Research. 2025. DOI: 10.1016/j.jher.2025.04.001
- Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Computation. 1997;9(8):1735-1780. DOI: 10.1162/neco.1997.9.8.1735
- Lim B., Zohren S. Time-series forecasting with deep learning: A survey. Philosophical Transactions of the Royal Society A. 2021;379(2194):20200209. DOI: 10.1098/rsta.2020.0209
- Intel Corporation. Statistical Outlier Removal Filter – Intel Robotics SDK Documentation. 2025. URL: https://amrdocs.intel.com (дата обращения: 24.05.2026)
- OpenCV. CLAHE – Contrast Limited Adaptive Histogram Equalization. Documentation. URL: https://docs.opencv.org (дата обращения: 24.05.2026)
- Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI 2015. — 2015. — Vol. 9351. — P. 234-241. — arXiv:1505.04597
- Zhou R., Almustafa M.K., Wen Z., et al. A rapid detection and quantification method for levee leakage outlets using drone infrared thermography and semantic segmentation. Engineering Applications of Artificial Intelligence. 2025;142:110066. DOI: 10.1016/j.engappai.2025.110066
- Liu J., Wang Z., Li R., Zhao R., Zhang Q. Automated Detection of Embankment Piping and Leakage Hazards Using UAV Visible Light Imagery: A Frequency-Enhanced Deep Learning Approach for Flood Risk Prevention. Remote Sensing. 2025;17(21):3602. DOI: 10.3390/rs17213602
- Li A., Zhang W., Zhang X., Chen G., Liu X., Jiang A., Zhou F., Peng H. A Deep U-Net-ConvLSTM Framework with Hydrodynamic Model for Basin-Scale Hydrodynamic Prediction. Water. 2024;16(5):625. DOI: 10.3390/w16050625
- OpenCV. Histogram Equalization Documentation. Version 3.4.14. URL: https://docs.opencv.org (дата обращения: 28.05.2026)
- Intel Corporation. Statistical Outlier Removal Filter — Intel Robotics SDK Documentation. Version 2.0. 2025. URL: https://amrdocs.intel.com/docs/2.0/dev_guide/tutorials_amr/perception/one-api/statistical_removal.html (дата обращения: 28.05.2026)


