Как устроена сессионная рекомендательная система: граф, метаданные и LightGBM

Значимый прорыв формирует отрасль ИИ: YaninaK 26 минут назад Объяснить с Как устроена сессионная рекомендательная система: граф, метаданные и LightGBM Средний 8 мин 604 Разработка под e-commerce * Искусственный интеллект Машинное обучение * Кейс Посетитель открыл товар A. По истории переходов с ним связан B, по описанию похож C, по изображению — D. Сам A тоже стоит оставить: посетитель его посмотрел, но покупка ещё не зарегистрирована.

Как из этих предложений собрать список, в котором не больше 20 рекомендаций? На этом примере разберу систему, которую я собрала на Coveo SIGIR eCOM 2021, Public Data Release 1. Из исторического каталога на 14 314 SKU она отбирает до 300 кандидатов, рассчитывает для них признаки и передаёт их в LightGBM.

Технические детали

Модель расставляет товары по местам, а локальный HTTP API возвращает до 20 рекомендаций. Модель обучена, результаты оценки приведу в конце. В предыдущей статье я разобрала цель и ограничения записей о покупках.

Здесь разберу отбор товаров, расчёт признаков и обучение ранжировщика — модели, которая задаёт порядок выдачи. Сначала напомню правила времени. Сессия — события с общим идентификатором в Coveo, SKU — идентификатор товара.

События с одинаковой отметкой времени считаю одним блоком: их внутренний порядок неизвестен. Выдача формируется один раз, после первого блока с просмотром товара с корректным SKU, если к концу этого блока в сессии ещё нет зарегистрированной покупки. Модель видит только события, доступные к моменту выдачи.

Отраслевые последствия

Цель — различные SKU зарегистрированных покупок после выдачи в той же сессии. Окно наблюдения заканчивается через 24 часа или на последней опубликованной записи — что наступит раньше. Что граф знает о товареДо обработки запросов я собираю каталог, граф и статистики товаров по 50 000 сессий периода A_G.

Наличие покупки не влияет на отбор сессий. Следующие 50 000 сессий, из периода B, идут на обучение ранжировщика. Такое разделение не даёт будущей покупке из B превратиться в ребро графа и подсказать ответ для той же сессии.

Вершины графа — товары. Между ними есть три типа направленных связей:просмотр → просмотр;просмотр → добавление в корзину;просмотр → покупка. Если после просмотра A посетитель купил B, сессия вносит вклад в связь третьего типа.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.