РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ ДЛЯ ВЫЯВЛЕНИЯ ЛАТЕНТНЫХ ЗАКОНОМЕРНОСТЕЙ В ПАРАХ «ОТЗЫВ-ОЦЕНКА» НА ОСНОВЕ ГИБРИДНОГО ПОДХОДА АССОЦИАТИВНОГО АНАЛИЗА И ГЛУБОКОГО ОБУЧЕНИЯ

Введение

В современных условиях цифровой экономики, по исследованиям журнала электронной коммерции e-pepper, 95% людей при выборе товаров и услуг опираются на отзывы, из них 68% всегда читают отзывы. В документе «Стратегии развития информационного общества в Российской Федерации на 2017-2030 годы» поставлены задачи развития технологий анализа больших данных и интеллектуальных систем для повышения не только качества жизни, но и конкурентоспособности экономики. Существует семантический разрыв между текстовым описанием и количественной оценкой. Пользователи часто ставят оценку интуитивно, основываясь на одном критическом факторе, например, еда вкусная, но официант грубый, оценка два из пяти. Что означает, что традиционные методы анализа тональности часто оценивают общий фон, упуская причинно-следственную связь между конкретным фактом и итоговым баллом.

Актуальной становится задача совершенствования интеллектуальных информационных систем, которые предоставляют не только аспектный анализ тональности пользовательского контента (отзывов), но и причинно-следственные связи для поддержки принятия решений.

Обзор существующих решений

Значительный вклад в развитие методов анализа тональности и обработки пользовательских отзывов внесли исследования в области компьютерной лингвистики, машинного обучения и интеллектуального анализа данных. В ряде современных работ акцент делается на повышение точности классификации или регрессии, однако проблема интерпретируемости выявленных закономерностей зачастую остается на периферии. выявления латентных причинно-следственных связей в парах «отзыв-оценка».

В работе Agrawal R., Srikant R. [4-5] была поставлена задача масштабируемого поиска ассоциативных правил в базах транзакций. Алгоритм Apriori в данном исследовании использует антимонотонность, то есть, если k-набор редкий, все его расширения тоже редкие. Эксперименты, поставленные на retail-данных показали линейную масштабируемость. Их ключевым результатом стала демонстрация эффективного алгоритма для рыночного анализа. Достоинством подхода является исключительная интерпретируемость результата в виде формальных правил {X} - {Y}. Что означает, что если клиент купил {молоко}, то купит и {хлеб} в 80% случаях. Однако ограничением этого подхода для анализа текста стало то, что он не видит разницы между словосочетаниями «горячий кофе» и «холодный кофе», а также игнорирует отрицания и порядок слов. Для отзывов нужны биграммы с семантикой, а не просто частотность. Это подтверждает необходимость использования ассоциативного анализа для работы не только с отдельными словами, но и с семантически значимыми конструкциями, что позволит сохранить интерпретируемость текстовой задачи или отзывов.

В исследовании Pontiki M. et al [8] есть проблема аспектного анализа тональности, выявления аспектов услуги и товара и связанной с ними эмоциональной оценки. Результатом данной работы было представлено создание эталонных датасетов и установление высоких стандартов точности для подзадач аспектного анализа тональности. Достоинством же является прямой фокус на связь «аспект-оценка». Этот подход не моделирует логику пользователя, который выставляет итоговый балл на основе субъективного взвешивания различных аспектов. Для преодоления этого ограничения целесообразно использовать принципы аспектного анализа тональности не только для независимого анализа аспектов, но и как этап для выявления паттернов.

В обзоре Zhang L., Wang S., Liu B. [10] исследуется состояние глубокого обучения для анализа тональности. В основе этого анализа лежит систематизация большого количества исследований, которая выделяет ключевые тенденции, например, переход от CNN к RNN/LSTM, а также переход и к механизмам внимания. Основным результатом этого исследования становятся модели с механизмами внимания, которые проявляют наилучшую точность. С применением глубокого обучения признается способность автоматически извлекать сложные признаки из текста.

В статье Wiegreffe S., Pinter Y. [9] проводится исследование того, что распределение внимания в нейросети является объяснением её предсказаний. Авторы данной работы прибегают к серии экспериментов, обучая модели, где веса внимания изначально не соответствуют значимым для человека признакам.  Что доказывает отсутствия необходимой связи между важностью признака для модели и его весом внимания. Рассмотренное исследование подтверждает актуальность поставленных задач и необходимость разработки гибридного метода, где объяснение строится не на внутренних механизмах сети, а на внешних (ассоциативных правилах).

В данных обстоятельствах становится необходимой постановка и решение актуальной научной задачи совершенствование моделей и алгоритмов решения задач по выявлению скрытых закономерностей в парах «отзыв-оценка» путем разработки гибридного подхода ассоциативного анализа и глубокого обучения.

Заключение

Существующие в настоящее время подходы к анализу взаимосвязи текстового отзыва и числового рейтинга далеки от совершенства, не обладают методологическим единством, характеризуются появлением новых идей и технологий (глубокое обучение с attention, XAI), нуждающихся в обобщении и развитии, и не учитывают специфику задачи выявления скрытых причинно-следственных связей. В данных обстоятельствах становится необходимой постановка и решение актуальной научной задачи разработки гибридной методологии, обеспечивающей одновременное достижение высокой точности прогнозирования и глубокой, содержательной интерпретируемости результатов.