Анализ Вопросов Проектировщиков По Проблемам Конвертации (Выгрузки И Загрузки В Разные Программы) Данных Проектов Методами K-Means, Pca, Dbscan

Введение

Современные проектные процессы в строительстве и производстве основаны на использовании множества CAD, BIM, CAE и расчётных систем, каждая из которых оперирует собственными форматами данных. На практике это приводит к необходимости регулярной конвертации проектных файлов (DWG, DXF, PDF, IFC, STEP и др.), что часто сопровождается потерей информации, ошибками экспорта / импорта, ухудшению качества проектов и снижению скорости их выполнения.

Есть возможность объективно оценить общую ситуацию и самые критичные проблемы на профессиональных форумах проектировщиков. Данные, собранные с форумов, не имеют разметки и структурированного представления. Таким образом, для сбора и анализа данных требуется использование парсинга, векторизации и ансамблевых методов кластеризации, для максимально точного анализа и определения самых проблемных вопросов.

Целью данной работы является применение методов анализа текстов и обучения без учителя для выявления и интерпретации основных типов проблем, возникающих при конвертации и передаче проектных данных между различными CAD/BIM-системами и другими приложениями и форматами, которые используются при проектировании и в строительных проектах.

Обзор существующих методов

Анализ тематической структуры текстовых данных традиционно выполняется с использованием методов тематического моделирования (LDA), кластеризации в TF-IDF пространстве или понижения размерности (LSA, SVD).

Классические методы тематического моделирования часто дают трудно интерпретируемые результаты на небольших объёмах текстовых данных и плохо учитывают устойчивые технические словосочетания. Актуально применяются методы линейного факторного анализа (Truncated SVD) в сочетании с различными алгоритмами кластеризации, что позволяет получать более стабильные и интерпретируемые результаты.

Альтернативы методам TF-IDF, Truncated SVD, KMeans, GMM и DBSCAN для анализа неразмеченных данных

Одним из базовых способов представления текстов является модель Bag-of-Words, в которой документы описываются векторами частот слов без учёта их порядка. Такой подход отличается простотой реализации и высокой интерпретируемостью признаков, однако не учитывает различную значимость терминов в корпусе и чувствителен к шуму, связанному с часто встречающимися словами. По этой причине Bag-of-Words чаще используется как отправная точка или в задачах с небольшим словарём.

Более продвинутыми альтернативами являются методы распределённого представления слов, такие как Word2Vec и FastText. Эти модели формируют плотные векторные представления слов на основе их контекстов, обучаясь предсказывать слова по окружению или наоборот. Документы в таком случае могут представляться как усреднение или взвешенная комбинация векторов слов. Данный подход позволяет учитывать семантическую близость терминов и существенно снижает размерность признакового пространства, однако приводит к потере прямой интерпретируемости компонент и требует достаточно большого корпуса текстов для стабильного обучения.

Расширением данной идеи является метод Doc2Vec, в котором векторные представления формируются непосредственно для документов. Это позволяет напрямую сравнивать тексты между собой, однако на небольших корпусах такие модели часто демонстрируют нестабильность, а полученные векторы сложно интерпретировать с точки зрения конкретных тематических признаков.

Современным направлением являются методы, основанные на трансформерных архитектурах, таких как BERT и Sentence-BERT. Эти модели формируют контекстно-зависимые эмбеддинги предложений и документов, обеспечивая высокое качество семантического представления и корректную работу с синонимами и контекстом. Вместе с тем такие подходы отличаются высокой вычислительной сложностью и ограниченной интерпретируемостью, что затрудняет их применение в задачах анализа технических форумов, где важна явная связь между терминами и выявляемыми темами.

Для понижения размерности текстовых признаков, помимо Truncated SVD, может применяться метод главных компонент (PCA), который максимизирует дисперсию данных. Однако PCA требует плотных матриц признаков и плохо работает напрямую с разреженными представлениями TF-IDF, что ограничивает его применение без предварительных преобразований.

Другим распространённым методом является неотрицательная матричная факторизация (NMF), при которой исходная матрица раскладывается на неотрицательные компоненты. Такой подход часто используется для тематического моделирования, так как полученные компоненты легко интерпретируются как темы. Недостатками NMF являются необходимость подбора числа компонент и меньшая устойчивость к шуму по сравнению с SVD.

Вероятностным подходом к тематическому моделированию является Latent Dirichlet Allocation, в котором документ рассматривается как смесь тем, а тема — как распределение слов. Несмотря на широкое распространение, LDA плохо масштабируется, требует сложной настройки гиперпараметров и часто демонстрирует менее устойчивые результаты на технических текстах с большим количеством специфических терминов.

В задачах кластеризации альтернативами KMeans, GMM и DBSCAN являются иерархические методы, такие как агломеративная кластеризация, формирующая дерево объединений документов. Этот подход не требует заранее фиксировать число кластеров и позволяет анализировать иерархию тем, однако отличается высокой вычислительной сложностью.

Спектральная кластеризация использует собственные векторы матрицы сходства и эффективно работает с кластерами сложной формы, но требует построения матрицы сходства и плохо масштабируется на больших корпусах.

Расширением плотностных методов является алгоритм HDBSCAN, который автоматически определяет плотности и позволяет более надёжно выделять шум и редкие темы по сравнению с DBSCAN. Вместе с тем он менее интерпретируем и чувствителен к выбору метрики расстояния.

Отдельное направление составляют методы тематической кластеризации в пространстве эмбеддингов, где сначала формируются контекстные векторы документов (например, с помощью BERT), а затем применяется кластеризация KMeans или HDBSCAN. Такие подходы демонстрируют высокое качество тематического разделения, однако требуют значительных вычислительных ресурсов и затрудняют интерпретацию результатов.

Таблица 1.

Сравнение методов кластеризации

Задачи исследования

1. Собрать блок текстов обсуждений с профессиональных форумов.
2. Выполнить очистку и векторизацию текстовых данных.
3. Выявить латентные факторы, характеризующие тематику обсуждений.
4. Сгруппировать темы по типам проблем с использованием методов кластеризации.
5. Оценить устойчивость и интерпретируемость кластеров.
6. Сформулировать практические выводы.

Данные

Объём выборки: 134 темы

Источники: парсинг русскоязычных и англоязычных форумов проектировщиков (AutoCAD, BricsCAD, DWG/DXF, IFC, PDF, расчётные комплексы).

Сайты: forum.bricsys.com, forum.dwg.ru, forum.freecad.org, www.cadtutor.net.

Каждая запись содержит:

заголовок темы;

первые 2-3 поста обсуждения;

метаданные (количество сообщений).

Данные не имеют разметки, что определяет использование методов обучения без учителя.

Предобработка и векторизация

Текстовая предобработка включала:

• приведение текста к нижнему регистру;
• удаление ссылок, чисел, спецсимволов;
• нормализацию пробелов.

Векторизация:

• использован метод TF-IDF;
• униграммы и биграммы;
• итоговая размерность: 10915 признаков.

Это позволило учитывать как отдельные термины (DWG, IFC), так и устойчивые сочетания (экспорт в IFC, из pdf в dwg).

Факторный анализ (SVD)

Explained variance ratio sum ≈ 0.93 при 30 компонентах.

Метод усечённого сингулярного разложения (Truncated SVD) был использован для выявления латентных факторов в высокоразмерном TF-IDF пространстве. Первые 30 компонент объясняют около 93% дисперсии, что свидетельствует о высокой информативности полученного факторного пространства.

Примеры факторов:

Factor 2 Оцифровка и обработка сканов (DPI, DJVU, сканирование)

Factor 4 Конвертация PDF → DWG/DXF

Factor 3 Автоматизация и LISP-скрипты

Factor 5 Восстановление и ошибки файлов AutoCAD

Факторы хорошо интерпретируются и соответствуют реальным вопросам проектировщиков в форумах.

Кластерный анализ

Метод к-средних (K-Means)

Оптимальное число кластеров: ~11–15

Крупнейшие кластеры:

1 22 Общие вопросы конвертации DWG

2 22 Сканирование и перевод документов

5 18 Импорт/экспорт DWG между CAD

3 11 Экспорт IFC

4 8 PDF → DWG/DXF

Цель достигнута: выявлены наиболее часто встречающиеся типы проблем.

GMM

• Оптимальное число компонент: 11 (по BIC)[1]
• Результат близок к KMeans – это подтверждает устойчивость структуры данных и верность результата.

DBSCAN

• Найдено 11 кластеров
• 22 объекта отнесены к шуму (уникальные кейсы)

Это редкие или специализированные проблемы, не образующие устойчивых групп.

Ансамблевый метод (Random Forest)

Ансамблевый метод Random Forest был использован для проверки возможности предсказания «популярности» темы (по числу сообщений) на основе латентных факторов и длины текста.

Точность = 1 объясняется малым объёмом выборки, сильной корреляцией признаков и простотой целевой переменной. Это использовалось просто чтобы показать, как применять ансамбли.

Выводы

Методы кластеризации без учителя позволяют эффективно группировать темы без предварительной разметки.

Разные методы (KMeans, GMM, DBSCAN) дают согласующиеся результаты, что подтверждает правильность выводов и устойчивость результатов работы методов.

DBSCAN позволяет выделять редкие и уникальные треды.

Результаты такого анализа могут быть эффективно использованы для более качественной разработки систем автоматической конвертации проектных данных, улучшения функций экспорта/импорта в CAD/BIM ПО, формировании базы типовых ошибок для техподдержки.

Заключение

Несмотря на наличие большого числа альтернативных методов, связка TF-IDF, Truncated SVD и классических алгоритмов кластеризации остаётся быстрым, эффективным и сбалансированным решением для анализа данных о темах технических форумов и добытых посредством парсинга неструктурированных данных, обеспечивая удачный компромисс между интерпретируемостью, устойчивостью результатов и вычислительной сложностью.

Байесовский информационный критерий (BIC) — статистический критерий, который балансирует между точностью модели и её сложностью. ↑