ГИБРИДНЫЕ АЛГОРИТМЫ ПОЛНОТЕКСТОВОГО ПОИСКА ТОВАРНЫХ ПОЗИЦИЙ В КРУПНОМАСШТАБНЫХ ОТРАСЛЕВЫХ КАТАЛОГАХ СТРОИТЕЛЬНОЙ И ЭЛЕКТРОТЕХНИЧЕСКОЙ ПРОДУКЦИИ

Введение

Эффективность электронных торговых площадок и систем автоматизированной подготовки коммерческих предложений во многом определяется качеством поиска по товарному каталогу. В прикладных сценариях пользователь ожидает получения релевантного результата по краткому и нередко неточному запросу, даже если наименование товара в каталоге отличается по структуре, порядку слов, единицам измерения или используемой терминологии. Для строительной и электротехнической продукции данная задача усложняется большим объемом номенклатуры, высокой долей технических параметров, артикулов и типоразмеров, а также тем, что значительная часть запросов формируется не вручную, а извлекается из загружаемых спецификаций, таблиц, документов и сканированных материалов [8; 9].

Подобные особенности русскоязычных информационных систем рассматриваются в работах [8–11].

Классические методы полнотекстового поиска, основанные на обратных индексах и статистическом взвешивании весов, обладают высокой масштабируемостью и вычислительной эффективностью, однако ограниченно учитывают семантику предметной области и недостаточно устойчивы к расхождению между формулировками запроса и товарной карточки [1; 2]. В свою очередь, современные нейросетевые методы плотного, или векторного, поиска позволяют учитывать семантическую близость объектов, но требуют более значительных вычислительных ресурсов и характеризуются меньшей интерпретируемостью, что создает дополнительные ограничения при промышленной эксплуатации [5; 7].

Целью настоящей работы является описание архитектурных принципов гибридной поисковой системы, разрабатываемой в рамках проекта Checkadvisor и ориентированной на поиск товарных позиций в крупномасштабных отраслевых каталогах. Предлагаемый подход сочетает преимущества лексического и семантического поиска, сохраняя при этом предсказуемость, управляемость и объяснимость ранжирования. Изложение носит концептуальный характер: в статье рассматриваются общая модель и принципы построения системы, тогда как конкретные внутренние параметры, пороговые значения и детали реализации, составляющие результат интеллектуальной деятельности правообладателя, намеренно не раскрываются.

Научная новизна исследования заключается в разработке концептуальной архитектуры промышленной гибридной системы полнотекстового поиска, обеспечивающей совместное использование многоуровневого отбора кандидатов, интерпретируемого многофакторного ранжирования, семантического контроля соответствия типа товара и механизмов персонализации поисковой выдачи применительно к крупномасштабным отраслевым каталогам.

1. Постановка задачи и особенности предметной области

Рассматривается задача полнотекстового поиска товарных позиций в крупномасштабном отраслевом каталоге.

Пусть задан каталог товаров:

содержащий более двух миллионов карточек строительной и электротехнической продукции.

Для пользовательского запроса (q) требуется сформировать упорядоченный список результатов:

ранжированный по убыванию функции релевантности ( rel(q,d) ), таким образом, чтобы наиболее соответствующие запросу товарные позиции занимали верхние позиции поисковой выдачи.

Особенностью рассматриваемой предметной области является высокая неоднородность текстовых данных. Наименования товаров содержат артикулы, технические характеристики, обозначения стандартов, типоразмеры и сокращения, а пользовательские запросы часто представлены неполными или неточными описаниями, сформированными вручную либо автоматически извлеченными из спецификаций. Вследствие этого задача поиска не сводится к простому совпадению текстовых строк и требует комплексного учета как лексического сходства, так и семантического соответствия между запросом и карточкой товара.

2. Обзор подходов

Современные методы информационного поиска условно подразделяются на три основных класса: лексические (разреженные), плотные (векторные) и гибридные. Каждый из них обладает собственными преимуществами и ограничениями, что определяет область его эффективного применения при построении промышленных поисковых систем.

Лексический (разреженный) поиск основан на использовании обратного индекса и статистических моделей оценки релевантности, наиболее распространенными из которых являются TF-IDF и BM25 [1; 2]. В таких моделях степень соответствия документа запросу определяется частотой встречаемости терминов, их дискриминирующей способностью в коллекции и нормализацией по длине документа. Данный подход характеризуется высокой производительностью, хорошей масштабируемостью и интерпретируемостью результатов, благодаря чему широко применяется в промышленных поисковых системах и поддерживается большинством современных реляционных СУБД средствами встроенного полнотекстового индексирования и специализированных поисковых расширений [3]. Вместе с тем эффективность лексического поиска существенно снижается при несовпадении словоформ, использовании синонимов, сокращений и иных вариантов записи терминов.

Плотный (векторный, семантический) поиск основан на представлении запросов и документов в виде векторов фиксированной размерности, формируемых нейросетевыми моделями кодирования текста. Оценка релевантности осуществляется на основе меры близости между векторами, как правило посредством косинусного сходства либо скалярного произведения [5]. Использование современных моделей эмбеддингов обеспечивает выявление семантического соответствия даже при полном отсутствии совпадений по лексическому составу запроса и документа, включая случаи использования различных терминов, сокращений и профессиональной лексики [7]. Однако применение подобных методов связано с повышенными требованиями к вычислительным ресурсам, увеличением времени обработки запросов и снижением интерпретируемости процесса ранжирования, что ограничивает их самостоятельное использование в высоконагруженных промышленных системах.

Гибридный поиск объединяет преимущества лексических и семантических методов, используя их в качестве взаимодополняющих источников информации о релевантности [6]. В подобных системах высокая точность сопоставления по артикулам, техническим обозначениям и специализированной терминологии сочетается со способностью учитывать семантическую близость запросов и документов. Для интеграции результатов различных поисковых моделей применяются методы агрегирования ранжированных списков, среди которых широкое распространение получил алгоритм взаимного ранжирования Reciprocal Rank Fusion (RRF), отличающийся устойчивостью к различию шкал оценок отдельных поисковых моделей и демонстрирующий высокую эффективность при комбинированном поиске [4].

Проведенный анализ показывает, что ни один из рассмотренных подходов не обеспечивает одновременно высокой точности поиска по техническим обозначениям, устойчивости к вариативности пользовательских запросов, масштабируемости и интерпретируемости результатов. По этой причине наиболее перспективным представляется гибридный подход, сочетающий преимущества лексических и семантических методов. Именно данная концепция положена в основу предлагаемой архитектуры промышленной системы полнотекстового поиска товарных позиций.

3. Архитектура многоуровневой системы поиска

Предлагаемая система реализует многоступенчатую архитектуру обработки пользовательского запроса, построенную по конвейерному (pipeline) принципу. Каждая стадия конвейера решает специализированную задачу подготовки данных, формирования множества кандидатов и их последующего ранжирования. Такой подход обеспечивает масштабируемость системы, возможность независимой оптимизации отдельных компонентов и воспроизводимость результатов поиска.

В настоящей работе рассматриваются концептуальные принципы организации поискового конвейера. Конкретные алгоритмы, внутренние параметры и настройки отдельных компонентов не приводятся, поскольку относятся к особенностям промышленной реализации.

Схема архитектуры поискового конвейера представлена на рисунке 1.

Рисунок 1. Общая схема архитектуры поискового конвейера

         Таблица 1.

Основные этапы конвейера поиска

№	Этап	Назначение
1	Предобработка запроса	Нормализация текста, очистка служебных символов, токенизация
2	Распознавание сущностей	Выделение артикулов, типоразмеров, числовых параметров и технических обозначений
3	Формирование поисковых выражений	Построение набора полнотекстовых запросов и контролируемое расширение терминов
4	Многоуровневый поиск кандидатов	Последовательное применение нескольких стратегий отбора документов
5	Обогащение результатов	Получение атрибутов, цен, остатков и дополнительной информации
6	Многофакторное ранжирование	Вычисление интегральной оценки релевантности
7	Контроль типа товара и персонализация	Проверка семантического соответствия и адаптация выдачи под каталог поставщика

 

3.1. Предобработка пользовательского запроса

Начальный этап обработки включает нормализацию входного текста, удаление служебных символов, унификацию регистра, нормализацию пробельных последовательностей и токенизацию. Особое внимание уделяется запросам, автоматически извлекаемым из электронных спецификаций и результатов оптического распознавания текста, для которых характерно наличие шумовых символов, разрывов слов и нарушений форматирования.

Предобработка проектируется таким образом, чтобы не изменять смысл корректно сформированного запроса, одновременно повышая качество поиска для зашумленных входных данных. Исходное представление запроса сохраняется для последующего анализа артикулов и иных идентификаторов, чувствительных к символьному составу.

3.2. Распознавание сущностей и формирование поисковых выражений

После нормализации выполняется извлечение специализированных сущностей предметной области, включая артикулы, типоразмеры, числовые характеристики и иные технические обозначения. Разделение токенов по типам позволяет применять к ним различные стратегии обработки.

Артикулы преимущественно сопоставляются посредством точного поиска, тогда как описательные термины используются при формировании полнотекстовых запросов с ограниченным расширением по словарям синонимов и терминологических соответствий. Контролируемое расширение запроса позволяет повысить полноту поиска без существенного увеличения количества ложноположительных совпадений.

3.3. Многоуровневый поиск кандидатов

Отбор кандидатов организован как последовательность нескольких поисковых стратегий, различающихся степенью строгости критериев соответствия. На ранних этапах используются стратегии, ориентированные на максимально точное совпадение значимых признаков, тогда как на последующих стадиях допускается частичное совпадение терминов и использование дополнительных поисковых признаков.

Каждая стратегия формирует собственное множество кандидатов, после чего результаты объединяются и проходят процедуру дедупликации. Подобная организация поиска позволяет одновременно обеспечить высокую полноту (recall) и сохранить приоритет документов, найденных наиболее точными методами.

3.4. Многофакторное ранжирование

После формирования множества кандидатов выполняется вычисление интегральной оценки релевантности. В общем случае функция ранжирования может быть представлена в виде линейной комбинации множества признаков

где (f(q,d)) — нормализованное значение (i)-го признака релевантности, (w(i)) — соответствующий весовой коэффициент, а (m) — количество используемых признаков.

В качестве признаков могут использоваться показатели совпадения терминов, числовых параметров, артикулов, покрытия запроса, фразовой близости, структурных атрибутов карточки товара и другие характеристики. Итоговая оценка может дополнительно корректироваться с учетом способа получения кандидата и особенностей прикладного сценария поиска.

Важной особенностью предлагаемой модели является интерпретируемость результатов ранжирования. Для каждой найденной карточки возможно определить набор признаков, оказавших наибольшее влияние на итоговую оценку релевантности, что существенно упрощает анализ качества поиска и последующую настройку системы.

3.5. Семантический контроль соответствия типа товара

Одной из особенностей промышленного поиска является необходимость исключения ситуаций, при которых формально совпадающие по отдельным признакам товары относятся к различным категориям продукции. Для решения данной задачи после ранжирования выполняется дополнительная проверка соответствия типа искомого товара.

Проверка основана на сопоставлении основного понятия пользовательского запроса с доминирующим типом продукции, представленным в карточке товара. При выявлении смыслового несоответствия итоговая оценка релевантности корректируется, что позволяет уменьшить вероятность появления товаров другого назначения в верхней части поисковой выдачи.

3.6. Персонализация поисковой выдачи

Заключительным этапом является адаптация результатов поиска к особенностям каталога конкретного поставщика. Персонализация позволяет учитывать структуру ассортимента, терминологические особенности, приоритеты отдельных брендов и иные параметры конкретной номенклатуры без изменения базовой архитектуры поисковой системы.

Подобная организация обеспечивает возможность использования единого поискового ядра для различных каталогов при сохранении высокой точности поиска и минимальной задержки обработки запросов.

4. Методика оценки качества поиска и результаты исследования

Оценка эффективности предлагаемой поисковой системы проводилась с использованием методики регрессионного тестирования на репрезентативной выборке реальных пользовательских запросов, сформированной на основе промышленной эксплуатации системы. Для обеспечения воспроизводимости результатов формировался эталонный набор поисковой выдачи (baseline), отражающий ожидаемое поведение алгоритма для фиксированного множества запросов. После внесения изменений в поисковую модель результаты повторного поиска автоматически сопоставлялись с эталонной выдачей с учетом допустимых отклонений по составу найденных документов и их порядку ранжирования. Такой подход позволяет своевременно выявлять нежелательные изменения качества поиска и обеспечивает стабильность функционирования системы при последовательном развитии алгоритмов.

Количественная оценка качества ранжирования выполнялась с использованием общепринятых метрик информационного поиска:

Precision@k, Mean Reciprocal Rank (MRR) и Normalized Discounted Cumulative Gain (nDCG) [1].

Формула точности на первых k позициях определяется выражением

где Rel(k) — множество релевантных документов среди первых k результатов поисковой выдачи.

Средний обратный ранг первого релевантного документа вычисляется по формуле

где Q — множество тестовых запросов, а rank(j) — позиция первого релевантного документа для j-го запроса.

Для оценки качества ранжирования по всей поисковой выдаче использовалась нормализованная метрика накопленного дисконтированного выигрыша

где

а rel(i) представляет собой экспертную оценку релевантности документа, расположенного на позиции i.

Полученные результаты показали, что предложенная многоуровневая архитектура обеспечивает устойчивое повышение качества поиска по сравнению с использованием исключительно лексических методов. Наибольший положительный эффект наблюдается при обработке неполных, неоднозначных и зашумленных запросов, характерных для спецификаций строительной и электротехнической продукции.

         Таблица 2.

Качественная оценка влияния отдельных компонентов поисковой системы

Компонент системы	Наблюдаемый эффект
Предобработка и нормализация запросов	Снижение количества запросов с неполной либо нерелевантной выдачей
Многоуровневый поиск кандидатов	Повышение полноты поиска при сохранении приоритета точных совпадений
Семантический контроль типа товара	Уменьшение числа случаев появления товаров другого назначения в верхней части выдачи
Персонализация поиска	Повышение точности подбора в рамках номенклатуры конкретного поставщика

 

Следует отметить, что представленные результаты носят качественный характер и получены на внутренних промышленных наборах данных. Абсолютные значения метрик эффективности, объем тестовой выборки, а также параметры конфигурации поисковой системы не приводятся в связи с их коммерческой тайной. Вместе с тем проведенное исследование подтверждает, что интеграция лексических методов поиска с механизмами семантического анализа и многофакторного ранжирования обеспечивает наиболее заметное повышение качества поиска при сохранении высокой производительности и интерпретируемости результатов.

5. Обсуждение

Проведенное исследование показывает, что при организации поиска в крупномасштабных отраслевых каталогах применение исключительно лексических либо исключительно семантических методов не обеспечивает одновременно высокой точности, полноты, вычислительной эффективности и интерпретируемости результатов. Наиболее перспективным представляется гибридный подход, в котором традиционные методы полнотекстового поиска дополняются семантическими механизмами анализа, а не заменяются ими полностью, что соответствует современным представлениям о построении гибридных поисковых систем [4–7].

Предлагаемая архитектура позволяет сохранить преимущества лексического поиска при обработке артикулов, технических обозначений и числовых параметров, одновременно компенсируя его ограничения посредством семантического анализа пользовательских запросов. Особое значение для промышленной эксплуатации имеет сохранение интерпретируемости процесса ранжирования. Возможность объяснения причин попадания документа в поисковую выдачу и факторов, повлиявших на его позицию, является важным требованием при сопровождении поисковой системы, анализе качества алгоритмов и повышении доверия со стороны конечных пользователей, что согласуется с результатами исследований [5–7].

Перспективным направлением дальнейшего развития является расширение гибридной архитектуры за счет интеграции моделей плотного (векторного) поиска в качестве дополнительного источника кандидатов с последующим объединением результатов посредством методов агрегирования ранжированных списков, в частности Reciprocal Rank Fusion (RRF). Дополнительный потенциал представляет применение современных моделей переранжирования (re-ranking) к ограниченному множеству наиболее релевантных кандидатов. Вместе с тем использование подобных методов должно учитывать требования промышленной эксплуатации, прежде всего ограничения по времени отклика, масштабируемости вычислений и воспроизводимости результатов поиска.

6. Заключение

В работе предложена концептуальная архитектура промышленной гибридной системы полнотекстового поиска товарных позиций в крупномасштабных отраслевых каталогах строительной и электротехнической продукции. Рассмотрены основные этапы обработки пользовательского запроса, включающие предобработку и нормализацию текста, распознавание специализированных сущностей, многоуровневый отбор кандидатов, многофакторное ранжирование, семантический контроль соответствия типа товара и персонализацию поисковой выдачи.

Показано, что совместное использование лексических и семантических методов позволяет повысить качество поиска при обработке неоднозначных и зашумленных запросов без существенного увеличения времени отклика системы. Предлагаемый подход обеспечивает баланс между полнотой и точностью поиска, вычислительной эффективностью и интерпретируемостью результатов ранжирования, что является одним из ключевых требований к промышленным информационно-поисковым системам.

Практическая значимость исследования заключается в возможности использования предложенной архитектуры при создании высоконагруженных корпоративных поисковых систем, функционирующих в условиях многомиллионных отраслевых каталогов и предъявляющих повышенные требования к точности, масштабируемости и объяснимости результатов поиска.

Дальнейшие исследования предполагается направить на развитие методов обучения ранжированию (Learning to Rank [5; 6]), интеграцию современных моделей плотных представлений документов и запросов, а также исследование механизмов адаптивной персонализации поиска на основе анализа пользовательского поведения и накопленной обратной связи.