Дешевая LLM в проде: как мы ушли с прогнозных $2000 в месяц на $30 и какие минусы

В сфере искусственного интеллекта произошло заметное событие. billiedark 6 минут назад Дешевая LLM в проде: как мы ушли с прогнозных $2000 в месяц на $30 и какие минусы Средний 7 мин 6 Машинное обучение * Искусственный интеллект Natural Language Processing * Python * Финансы в IT Кейс Каждую ночь у нас в JobPath запускается Celery-задача, которая берёт свежие вакансии из каталога (мы собираем их из открытых источников и Telegram-каналов) и превращает сырой текст в структурированную карточку. Изначально это делала Claude Sonnet, и делала отлично. Проблема была в цене: по прогнозу на наш объём выходило около двух тысяч долларов в месяц, и цифра росла вместе с каталогом.

В июле мы переехали на модель, которая стоит в 70 раз дешевле. Качество при этом просело с 4. 06 по нашей шкале (запрягли Fable создать шкалу), и ниже я расскажу, почему это осознанный размен, а не утрата.

Технические детали

А ещё про то, как дешёвые модели ломаются: пустые ответы при коде 200, поля не того типа, опечатки в именах полей из схемы, перепутанные годовые и месячные зарплаты. И про то, как один недосмотр в обработке ошибок биллинга сжёг у нас шестнадцать тысяч вызовов за ночь.. корявая пикча от клодаЧто за задачаВакансия из открытого источника выглядит плохо.

Это может быть простыня HTML без структуры, пост из Telegram-канала с эмодзи через слово или три строки текста, из которых непонятно ничего. Чтобы по такому можно было искать и фильтровать, мы прогоняем каждую вакансию через LLM и просим вернуть структуру через tool call с жёсткой JSON-схемой:краткое резюме вакансии (1-2 предложения) и секция "О позиции"списки: обязанности, требования, "будет плюсом", "что предлагают"навыки каноническими английскими именами (чтобы Postgres и PostgreSQL не были двумя разными скиллами)оценка сложности позиции от 1 до 5 с комментариемнормализованная зарплата: медиана и рыночная вилка в рублях в месяц (если в тексте её нет, модель оценивает по рынку и честно помечает это в комментарии)Плюс ещё несколько полей, которые кормят другие фичи продукта. На выходе карточка, по которой работают фильтры, поиск и почтовые подборки.

Почему сначала была дорогая модельБанально: когда запускали фичу, вопрос стоял "работает ли это вообще", а не "сколько это стоит". Sonnet с первой попытки выдавала аккуратные карточки, не путалась в русском и не выдумывала зарплату. Для запуска это правильный выбор: сначала доказать ценность на лучшей модели, потом оптимизировать цену.

Отраслевые последствия

Ловушка в том, что "потом" наступает внезапно, когда каталог вырастает и счёт из строчки в биллинге превращается в статью расходов. 0485 за вакансию звучит безобидно, пока не умножишь на размер каталога. При нашем объёме это складывалось в те самые $2000 в месяц.

Как выбирали заменуСобрали эвал: 50 реальных вакансий из прода, максимально разные (айтишные и не очень, с зарплатой и без, длинные простыни и огрызки в три строки). Каждую прогнали через всех кандидатов по одной и той же схеме. Результаты оценивал слепой судья: opus 4.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.