Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

Значимый прорыв формирует отрасль ИИ: С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании.

В итоге GPU недозагружены, а масштабирование — негибкое. Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию.

Технические детали

Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях. Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes.

Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.