Сколько на самом деле стоит GenAI в продакшене

В сфере искусственного интеллекта произошло заметное событие. Coder89 4 минуты назад Сколько на самом деле стоит GenAI в продакшене Уровень сложности Простой Время на прочтение 8 мин Охват и читатели 1 Искусственный интеллект Облачные вычисления * Облачные сервисы * Мнение Когда обсуждают стоимость внедрения генеративного ИИ, разговор часто сводится к цене за токен или цене за арендуемый GPU. Это удобно — одно число. Но в реальном продакшене такая оценка почти всегда обманчива.

Стоимость GenAI-системы — это не только сколько стоит вызвать модель. Это инфраструктура, эксплуатация, безопасность, наблюдаемость, разработка, интеграции, поддержка пользователей и постоянные изменения вокруг моделей. Именно поэтому «мы поднимем open-source модель сами, будет дешевле» часто оказывается правдой только на первом слайде презентации.

Технические детали

Из чего складывается стоимость GenAI в продакшене Типовая GenAI-система состоит не из одной модели. Даже если бизнес-задача звучит просто, например, сделать Q&A чат-бота по документам, внутри быстро появляются: backend-сервис (API) модель или несколько моделей RAG: индексация документов, эмбеддинги, векторный поиск хранилище документов авторизация и права доступа модерация и guardrails трассировка запросов мониторинг качества логирование ошибок рейт-лимиты, очереди и ретраи CI/CD регламент обновления моделей поддержка пользователей и команд, которые интегрируются с этим сервисом Пока всё работает в демо-режиме, это кажется избыточным. Но как только сервис начинает использоваться внутри компании, особенно в задачах с персональными данными, документами, юридическими текстами, финансами или внутренними знаниями, нужна архитектура и практики.

Цена за токен — заметный, но не единственный расход Если использовать Yandex Cloud AI Studio , стоимость зависит от режима работы модели и количества токенов: входных, исходящих, кешированных и токенов инструментов. Это уже важная деталь: один и тот же пользовательский сценарий может стоить по-разному в зависимости от длины промпта, длины ответа, истории диалога и использования tools. Например, в синхронном режиме YandexGPT Pro 5.

1 стоит 0,8 ₽ за 1000 входящих токенов и 0,8 ₽ за 1000 исходящих токенов с НДС. YandexGPT Lite стоит 0,2 ₽ за 1000 входящих и 0,2 ₽ за 1000 исходящих токенов. 2 в AI Studio стоит 0,5 ₽ за 1000 входящих токенов и 0,8 ₽ за 1000 исходящих токенов.

Отраслевые последствия

Допустим, у нас есть внутренний ассистент, который обрабатывает 1 млн запросов в месяц. Средний запрос: 1000 входящих токенов 500 исходящих токенов Тогда примерная стоимость генерации: Модель Расчёт на 1 запрос 1 млн запросов в месяц YandexGPT Lite 0,2 ₽ + 0,1 ₽ 300 000 ₽ YandexGPT Pro 5. 1 0,8 ₽ + 0,4 ₽ 1 200 000 ₽ DeepSeek V3.

2 0,5 ₽ + 0,4 ₽ 900 000 ₽ На этом этапе возникает соблазм сказать, что Lite дешевле Pro в 4 раза и нужно брать эту модель. Но если Lite отвечает хуже, чаще требует повторных запросов, хуже следует инструкциям, хуже работает с длинным контекстом или создаёт больше ошибок для пользователей, реальная стоимость может быть выше.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.