Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine

В сфере искусственного интеллекта произошло заметное событие. Asmolovskij 43 минуты назад Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine Средний 25 мин 1. 6K Python * Машинное обучение * Кейс Привет, Хабр!

В этой статье я расскажу, как решение одной прикладной ML-задачи привело нас сразу к нескольким неожиданным результатам. Статья будет полезна в первую очередь специалистам, работающим с классическими ML-задачами, но пока не использовавшим DL-подходы в продакшн-сценариях. Поговорим о трансформерах, эмбеддингах и том, как это можно использовать.

Технические детали

Также затрону несколько проблем, с которыми мы столкнулись при решении одной конкретной задачи, и как мы их решали. Это поможет сэкономить вам немало времени при реализации похожего проекта в работе. Статья разделена на два блока.

В первом блоке разберём, как использовать языковую модель для получения дополнительных признаков из пользовательских событий. Во втором — посмотрим на результаты: влияние эмбеддингов на качество модели, кластеризацию по клиентским эмбеддингам и построение general similarity engine. Если вам интереснее сначала посмотреть на практический эффект подхода, можете начать со второго блока.

ВАЖНОв проекте использовались следующие версии библиотек:torch == 2. 1Блок 1Отправная точкаНе так давно к нам прилетела задача помочь улучшить качество модели, которая предсказывает совершение клиентом целевого действия в окне дней после регистрации. Чтобы проще было воспринимать, предположим, что продукт - это маркетплейс, у которого есть веб-версия и мобильное приложение.

Отраслевые последствия

А целевое действие - это покупка какого-то товара. Модель, которую надо было улучшить, работает с определённым пулом клиентов, заказчик называет их "сильно сомневающиеся". Таких клиентов очень много.

И на них тратилось много дорогих ресурсов: от персональных менеджеров до бонусов. Сильных табличных фичей по таким клиентам немного. Зато у заказчика собирались всевозможные ивенты пользователя: от скроллинга новостей и блуждания по разделам сервиса до покупок и предзаказов.

Поэтому мы решили попробовать обучить transformer-модель на последовательностях пользовательских событий. Тот самый клиентПричём тут языковая модель? Пользовательские события — это последовательные поведенческие данные, которые сложно напрямую использовать в классических МЛках.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.