Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы

В сфере искусственного интеллекта произошло заметное событие. hotckisss 12 минут назад Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы 12 мин 524 Блог компании Яндекс Блог компании Yandex Cloud & Yandex Infrastructure Машинное обучение * Искусственный интеллект DevOps * Вы запустили LLM-инференс в продакшене. Поток запросов не менялся, нагрузка та же, что вчера, — а Time to First Token внезапно вырос в три раза. Первая мысль: что-то с моделью.

На деле причина почти никогда не в модели — она прячется в планировщике, аллокаторе GPU-памяти, очереди стримингового вывода или сети. Чем длиннее контекст, тем больнее. Для классического attention вычислительная сложность растёт очень быстро.

Технические детали

KV-кеш раздувается до десятков и сотен гигабайт, а в облаке всё это происходит на совершенно произвольном трафике: у одного клиента кодовый ассистент, у другого — аналитика на миллион запросов в день, у третьего — голосовой робот. На таких смешанных нагрузках всплывает то, чего не видно на референсных замерах вендора. Меня зовут Андрей, я занимаюсь разработкой сервисов машинного обучения для Yandex AI Studio — платформы, которая объединяет модели и инструменты Яндекса, чтобы вы могли создавать собственные ИИ-решения и внедрять их в бизнес‑процессы и продукты.

Чтобы запустить инференс флагманских моделей в продакшене, нам пришлось глубоко закопаться в опенсорс, найти и починить баги в чужом коде — суммарно больше 50 контрибьютов в разные репозитории — и переписать куски рантайма под свои конфигурации. Эта статья точно для вас, если вы:Уже запускали LLM-инференс в продакшене. Видели, как метрика Time to First Token (TTFT) выросла в 3 раза под нагрузкой, — и не понимали, почему.

Думали, что проблема в модели, а оказалось — в планировщике или сети. Дальше расскажу, на какие проблемы наткнулись на смешанной нагрузке и какие оптимизации внедрили: от разделения prefill и decode и контекстного параллелизма до спекулятивного декодирования, балансировки с учётом кешей и доставки 700-гигабайтной модели на кластер. Как устроен инференс: метрики, примитивы, стекПрежде всего скажу, что в машинном обучении есть две ключевые задачи: обучение моделей и их инференс.

Отраслевые последствия

Про обучение LLM в этой статье говорить не будем: это отдельная большая область со своими командами, инфраструктурой и метриками. Здесь сфокусируемся на инференсе — этапе, где уже готовая модель обслуживает реальные пользовательские запросы в продакшене. Основная цель этапа — обеспечить пользователям быстрый и надёжный сервис.

Какие метрики нас будут интересовать в этом случае? По сравнению с абстрактной бэкенд-разработкой в инференсе их больше. Время до первого токена, TTFT — промежуток времени от момента, когда модель получила запрос и до того, как она написала первое слово.

Время между токенами, ТВТ (Time between tokens). Токен — это единица, на которую токенизатор разбивает текст: часть слова, слово, знак препинания или фрагмент кода.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.