ИИ-секретарь за $77 в месяц: 88% ответов даёт DeepSeek, а три четверти денег съедают 7% запросов к Opus

В сфере искусственного интеллекта произошло заметное событие. mrPetrukovich 17 минут назад Объяснить с ИИ-секретарь за $77 в месяц: 88% ответов даёт DeepSeek, а три четверти денег съедают 7% запросов к Opus 6 мин 420 Искусственный интеллект Natural Language Processing * Я делаю ИИ-секретаря Лизу Петровну. Это бот в Telegram и MAX: пишешь ему как человеку, текстом, голосом или фото, а он решает задачу сам или отдаёт её одному из внутренних агентов. С 30 мая ей написали 8568 запросов 118 человек.

За последние 30 дней языковые модели для всех агентов обошлись в $77 (это только LLM, без генерации картинок и видео). Расскажу, как устроен выбор модели, почему почти все ответы даёт дешёвая модель, как работает память, что люди на самом деле просят у ИИ-секретаря и где он до сих пор ошибается. Всё с цифрами с прода.

Технические детали

ЗадачаОдин вход и много специалистов внутри. Пользователь не выбирает, к какому агенту обратиться: он пишет в один чат, а секретарь сам решает, ответить или передать задачу доктору, юристу, дизайнеру, штурману и так далее. Контекст при этом не должен теряться ни между агентами, ни между днями, ни между мессенджерами.

СхемаВходы: Telegram-бот и мост в MAX. Это один и тот же диалог и одна память. Секретарь — хаб: принимает сообщение, отвечает сам или делегирует профильному агенту.

LLM-слой: LiteLLM как прокси перед всеми провайдерами. Агенты знают только алиасы моделей, а куда реально уходит запрос, решает конфиг прокси. Хранилище: Postgres с pgvector (пользователи, переписка, память, метрики), Redis.

Отраслевые последствия

Эмбеддинги: локальный сервис на deepvk/USER2-small, без внешних API. Веб-поиск: свой SearXNG. Поиск доступен любой модели, поэтому сам по себе он не повод звать дорогую.

Инфраструктура: всё в docker compose, деплой через Ansible из образов в GHCR, мониторинг cAdvisor и экспортерами Postgres/Redis. Как выбирается модельПо умолчанию секретарь отвечает дешёвой моделью. На дорогую уходит только то, что под неё подходит.

Правило простое, и его видно целиком в одной функции:_RE_ESC_COMPLEX = re. iu)(проанализир\w*|анализ\b|сравни\b|стратеги\w*|спланируй|разбери\w*" r"|подумай (хорошо|глубоко|как следует)|посчитай|рассчитай|исследуй" r"|напиши (код|скрипт|отчт|статью|план)|объясни подробно|детально разбер) def _needs_escalation(text: str) -> bool: return any(_ESCALATES_ON(text) for trigger in ROUTING. escalate_on) На проде включены два триггера: complex (регулярка выше) и length (сообщение вместе с контекстом длиннее 2500 символов).

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.