Как я снизил стоимость обработки данных с помощью AI в 12 раз

Значимый прорыв формирует отрасль ИИ: sacist 23 минуты назад Как я снизил стоимость обработки данных с помощью AI в 12 раз Средний 5 мин 522 TypeScript * Node. JS * Ненормальное программирование * Медийная реклама * Кейс Из песочницы Мне понадобилось обрабатывать десятки тысяч рекламных объявлений с помощью LLM. На выходе нужен был строго валидный JSON с датами, тегами, временем, стоимостью и другой структурированной информацией.

Главные требования были простыми:высокая точность; стабильный Structured Output; минимальная стоимость обработки. Перепробовав множество вариантов, я обнаружил, что полностью бесплатные модели вроде OpenRouter действительно позволяют решить задачу без вложений, но на практике я столкнулся с двумя проблемами:около 40% ответов не соответствовали требуемой JSON‑схеме; даже корректный JSON часто содержал ошибки в извлечённых данных (даты, теги, описание). Было принято решение попробовать платные модели: МодельЦена за запросЧастота правильных ответовКачество парсингаQwen 3.

Технические детали

5-Flash~ 8 копеек95% 8/10Mistral‑3. 5~ 7 копеек80–85% 5/10GPT 5-nano10–12 копеек100%10/10Тестирование проводилось на нескольких сотнях сообщений из реального дата сета. Лучше всего справился GPT и я даже думал оставить именно его, однако при моих нагрузках получается цена 100–120 рублей за 10 000 обработанных постов.

Как по мне цена в долгосрочной перспективе кусается, а оптимизацией промптов удалось добиться лишь снижения качества ответов. Нужно было как можно быстрее найти более дешёвое решение. Этап 1 — обнаружение решения К моменту, как у меня возникла эта проблема я уже некоторое время пользовался Codex от OpenAI для помощи в разработке.

Первое, что пришло на ум было использовать уже оплаченный Codex. Однако официального API у него нет, а автоматизация через неофициальные мосты нарушает условия использования. Поэтому этот вариант пришлось сразу отбросить.

Отраслевые последствия

Далее я познакомился с Opencode — инструментом для работы с AI‑агентами, полностью написанным на Typescript. Opencode Go продаёт подписку за $5/месяц, которая включает $60 кредитов на модели. При этом стоимость токенов остаётся такой же, как если бы вы платили напрямую.

Фактически получается 12-кратная скидка на первые $60 использования. Этап 2 — поиск готовых вариантовВ этот момент возникла новая проблема. Opencode Go отлично подходит для интерактивной работы, но готового API для интеграции в приложения я не нашёл.

Все существующие решения были либо прокси под OpenAI API, либо CLI‑утилитами. Поэтому пришлось написать собственный сервер. Этап 3 — создание собственного APIКак базу для API — взял стандартный backend с модульной архитектурой на Express.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.