Как закешировать интеллект: LLM Cache в поиске Яндекс Лавки

В сфере искусственного интеллекта произошло заметное событие. AShchekalev 15 минут назад Как закешировать интеллект: LLM Cache в поиске Яндекс Лавки Время на прочтение 11 мин Охват и читатели 649 Блог компании Яндекс Управление разработкой * IT-компании Машинное обучение * Меня зовут Алексей Щекалёв, я работаю в команде машинного обучения Яндекс Лавки. Как думаете, что общего между пакетом молока, айфоном, дрелью и лабубу? Похоже на начало анекдота, но для нас это серьёзный технический вопрос.

Ответ на него определяет, найдут ли пользователи то, что ищут, или разочарованно закроют приложение. Мы столкнулись с этим вопросом в 2025 году, когда наш отлаженный поиск по продуктовому каталогу сломался о новую модель продаж. Тяжёлые модели понимали новые товары, но работали слишком медленно для рантайма, а быстрые не справлялись.

Технические детали

Переобучать весь стек на каждый новый ассортимент было бы слишком дорого и долго. Казалось, что компромисс «качество vs скорость» неразрешим, но мы нашли третий путь. Как всё начиналось В этом году Яндекс Лавке исполнилось шесть лет.

Поиск — одна из главных поверхностей в нашем приложении, откуда пользователи добавляют товары в заказ. Каталог большой, и без толкового поиска найти что-то конкретное — всё равно что искать иголку в стоге сена. На старте, в 2020–2021 годах, когда Лавка была сервисом доставки продуктов за 15 минут, сложные решения не требовались.

Каталог даркстора (маленького склада, откуда курьер везёт товары клиенту) составлял порядка 10³ позиций. Хлеб, молоко, чипсы — всё было на виду. Тогда поиск прекрасно работал на классических алгоритмах: BM25 и Ахо — Корасик.

Отраслевые последствия

Это был надёжный, быстрый, но абсолютно «деревянный» полнотекстовый поиск. Система смотрела исключительно на токены, и, если пользователь вводил «молоко», мы искали товары, в названии или описании которых есть эта последовательность букв. Искать по смыслу мы тогда не умели.

В 2022 году за поиск взялась профильная ML-команда. Как и многие, мы начали с классики — CatBoost. Механизм отбора кандидатов остался текстовым, но мы добавили этап ранжирования: брали найденных кандидатов и с помощью CatBoost поднимали вверх более кликабельные и конверсионные позиции.

Выдача стала точнее, метрики подросли, но «слепота» к смыслу запроса никуда не делась. Прорыв случился в 2023 году, когда мы внедрили семантический поиск . Теперь можно было ввести запрос вроде «вкусненькое», и если раньше мы бы нашли только товары с этим токеном в названии, то семантический поиск возвращал десерты, сладости и тому подобное.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.