Облачная LLM на 16 ГБ VRAM — часть 2: LangGraph Server, LangSmith и SDK

В сфере искусственного интеллекта произошло заметное событие. yakvenalex 3 часа назад Облачная LLM на 16 ГБ VRAM — часть 2: LangGraph Server, LangSmith и SDK Средний 42 мин 3. 9K Блог компании Selectel Искусственный интеллект Программирование * Python * IT-инфраструктура * Туториал Друзья, привет! Возвращаюсь с продолжением.

В первой части мы разобрались, как поднять локальную LLM и пробросить к ней внешний доступ. Но до настоящей интеграции в продукт так и не добрались — модель работает, а что с ней делать дальше, непонятно. Сегодня исправляем это.

Технические детали

Изначально я хотел пойти по классическому пути: взять FastAPI, обернуть вокруг vLLM и получить привычный REST-сервис. Но чем глубже я погружался в тему, тем яснее становилось, что в рамках одной статьи невозможно нормально раскрыть все нюансы связки aiohttp и FastAPI. Слишком много инфраструктурных деталей, шаблонного кода и сопутствующей обвязки — в какой-то момент за этим теряется главное: сама логика работы с моделью.

Поэтому я решил сместить фокус в другую сторону — более интересную и, как мне кажется, более современную. Сегодня поговорим про графовую инфраструктуру на базе локальных моделей — и не только локальных. Любых, поддерживающих OpenAI-совместимый протокол.

А теперь вопрос: что, если вам достаточно хорошо научиться писать граф — и вокруг него автоматически поднимется REST API, появится интерфейс для тестирования, трейсинг и мониторинг? Экосистема LangGraph и откуда возьмется REST APIЯ уже писал про LangChain, но до сегодняшнего момента за кадром оставалась «главная троица» инструментов, без которых архитектура будет неполной: LangGraph Server, LangSmith и SDK. Вот этот фундамент и разберем.

Отраслевые последствия

Но сначала — немного теории, без которой дальше будет сложно. Почему ИИ так любит графыГраф — это набор узлов и ребер, которые их соединяют. Звучит просто, но именно эта простота делает подход таким универсальным.

Технический граф — это удобный способ логически связывать между собой отдельные блоки обработки. Можно провести аналогию с классическим if/else, но с одним важным отличием: в графе вы можете вернуться в любую точку, перейти в любой узел, выстроить любой маршрут — и все это описывается декларативно, без лапши из условий. Первая причина — роутингРассмотрим простой пример.

Есть узел, который принимает на вход данные. Внутри этого узла сидит модель, которая просто решает, куда двигаться дальше: в узел А или в узел Б. Это решение принимает не программист через if, а сама модель на основе контекста.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.