От текста к смыслу: Embeddings, GPT и многомерные векторы в конкурентном анализе мобильных приложений

В сфере искусственного интеллекта произошло заметное событие. Vladimir_Mihailov 9 минут назад От текста к смыслу: Embeddings, GPT и многомерные векторы в конкурентном анализе мобильных приложений Средний 8 мин 298 Блог компании Garage Eight Аналитика мобильных приложений * Искусственный интеллект Кейс Отзывы пользователей — один из самых ценных источников информации о продукте, при этом часто клиенты описывают одну и ту же тему или проблему десятками разных слов. Раньше работать с фидбэком было долго и ресурсоемко, но с появлением Embeddings и LLM это изменилось. Меня зовут Вова Михайлов, я маркетинговый аналитик в Garage Eight.

Мы развиваем международные финтех-продукты и стараемся использовать всю информацию для улучшения наших сервисов, в том числе отзывы. В этой статье я расскажу, как мы смогли автоматизировать и ускорить аналитику фидбэков с помощью Embeddings и GPT. Наш опыт будет релевантен не только финтеху, но и любым компаниям, которые хотят научиться в реальном времени получать данные из отзывов и сравнивать себя с конкурентами.

Технические детали

Предыстория: в чём проблемаI completed the action, but nothing changed on my side. The information I expected is missing. Still waiting for everything to update.

The expected update hasn’t come through. Все эти отзывы относятся к одной теме, при этом различаются по лексике и тональности. Для человека очевидно, что их связывает, а для компьютера это совершенно разные наборы слов.

В существующих приложениях, которые мы используем для сбора отзывов (YouScan, AppTweak), аналитика так и собирается по ключевым словам: найти общие темы можно, но это распределение будет некачественным. Чтобы корректно разобрать их по ключевым категориям или фичам, специалисту понадобятся недели или месяцы. Именно поэтому мы решили собрать свой инструмент и автоматизировать работу с отзывами.

Отраслевые последствия

Чтобы разобраться в доступных методах анализа фидбэка, поделюсь ретроспективой — как они менялись с развитием технологий: Ручной анализ. Сначала аналитики читали фидбэк вручную и раскладывали его по категориям в Excel. Это работало на десятках и сотнях отзывов, но масштабировать дальше было очень ресурсоемко.

Далее компании начали измерять NPS, CSAT и другие метрики удовлетворенности. Это позволило понять уровень лояльности, но не дало объяснений причин проблем. Потом появился поиск по ключевым словам и Word Cloud.

Можно было собирать облака тегов, определять ключевые темы, но проблема была в том, что алгоритм выявлял слова, а не смысл. Отзывы на одну тему, написанные разными словами, оказывались в разных категориях. С появлением NLP стали использовать TF-IDF, LDA и Topic Modeling для автоматического поиска тем.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.