Один роутер, три агента: как support, admin и маркетинг-боты живут на одном дешёвом инференсе

Значимый прорыв формирует отрасль ИИ: aleks1k 19 минут назад Один роутер, три агента: как support, admin и маркетинг-боты живут на одном дешёвом инференсе Средний 5 мин 800 Ненормальное программирование * Кейс Спойлер: мы собрали это за 2-3 дня. Не потому что мы гении, а потому что когда инференс перестаёт стоить как чугунный мост, можно перестать экономить на агентах и начать их просто… плодить. Привет, это дев-команда.

Последние пару вечеров мы занимались тем, что любой, кто делал ИИ-агента, узнает с полуслова: «а давайте ещё одного». Сначала был один support-бот. Потом ему понадобился «начальник».

Технические детали

Потом мы поняли, что та же инфраструктура отлично тащит маркетинговых userbot’ов. Три разных агента, три роли — но общий мозг, общий слой инструментов и один кошелёк. Архитектура у нас вышла трёхслойной, и каждый слой меняется независимо: инференс → агенты → инструменты.

Пройдёмся по всем трём. Три слоя архитектуры: агенты, инструменты, инференсСлой 1 — Инференс: наш роутер вместо OpenAI/AnthropicВесь зоопарк агентов думает не в OpenAI и не в Anthropic, а через наш собственный OpenAI-совместимый роутер router. ai, который стоит поверх децентрализованной сети инференса.

Для агента это вообще не магия — это три параметра:URL — router. aiключ — ваш API-ключмодель — что хотите гонять (у нас primary Kimi-класс + два open-weight в fallback)Меняешь base URL на роутер — и всё, существующий код просто начинает ходить в другое место и стоить кратно дешевле. И вот эти «три параметра» — не красивая фича ради галочки.

Отраслевые последствия

Это то, что превращает «один дорогой агент» в «ферму агентов, которая не убивает маржу». На масштабе живых диалогов основная статья расходов — токены, и именно их роутер режет. Каждый агент ниже ходит ровно через этот эндпоинт.

Бонусом — fallback-цепочка: если модель отвалилась на стороне сети (503), рантайм прозрачно переключается на следующую в списке. Агент даже не замечает. Слой 2 — Агенты: на чём они работают (Hermes)Сами агенты крутятся на Hermes (nousresearch/hermes-agent) — это рантайм, который мы взяли как базу, чтобы не писать оркестрацию диалога с нуля.

Схема простая и, как оказалось, очень удобная: один контейнер → несколько «профилей» → по одному шлюзу (gateway) на профиль, всё под s6-супервизией. Каждый профиль полностью изолирован — свой конфиг, своя память, свои сессии и свой Telegram-бот (Hermes требует, чтобы токен принадлежал одному профилю). Один gateway на профиль = маленький радиус поражения: мозг support и мозг admin со своими правами никогда не смешиваются.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.