Разрушители мИИфов – тестируем Headroom. Правда ли умная прокся может сэкономить вам токены?

Вот важная новость с фронта ИИ: Indermove 1 минуту назад Разрушители мИИфов – тестируем Headroom. Правда ли умная прокся может сэкономить вам токены? Простой 7 мин 2 Искусственный интеллект Open source * Программирование * GitHub * Аналитика Признаю: в прошлой статье про тестирование Caveman я в конце написал, что такие инструменты, как RTK, действительно, могут помочь сэкономить токены.

Я доверял самому принципу возможности экономии токенов, но не доверял конкретным цифрам эффективности, которые заявляет Headroom. Был уверен, что, садясь за тесты, скорее всего, увижу, не 60–95% экономии токенов, а типа 10% — или что-то такое. Но результат меня удивил в худшую сторону.

Технические детали

Итак, тестируем Headroom вместе:Как Headroom работаетЕсли у Caveman был довольно простой принцип работы, который укладывался буквально в пару строк, то у Headroom он заслуживает отдельного описания. Проблема, с которой инструмент борется: когда кодинг-агент (например, Claude Code или Cursor) работает, он с каждым шагом тащит в модель всё больше контекста: вывод команд, простыни логов, прочитанные файлы, историю диалога. За все эти токены ты платишь, и на длинных сессиях сумма набегает приличная.

Headroom встаёт прокси-прослойкой между агентом и API. То есть, чтобы инструмент заработал, нужно слать все запросы не напрямую в API Anthropic, например, а сначала в локальный Headroom. В нем происходит следующее:Прокси перехватывает ваш запрос;Смотрит на тяжелые куски и выбирает инструмент для сжатия:* JSON — структурно (SmartCrusher): выкидывает форматирование и повторы.

* Код — через AST/rtk (тот самый Rust Token Killer). * Логи, текст — локальной моделью Kompress-v2-base через PyTorch, которая сокращает их. Чтобы оригинал можно было подгрузить при необходимости он кэшируется, а модели подсовывается специальный инструмент, которым она может дозапросить полный кусок, если он реально понадобится (Headroom называет это CCR — Compress-Cache-Retrieve).

Отраслевые последствия

Схема работы HeadroomЗвучит все это сложно и потрясающе. И еще обещает экономию в 60–95%, ну и разумеется, без потери качества. Как тестировалЕсли с Caveman придумать тест было довольно просто, то для Headroom я долго не мог понять, как к этому подступиться.

Так как глядя на схему не вполне понятно, на каких задачах все это будет наиболее показательно. Но в итоге решил сделать так:Сделал маленький репозиторий — снова top-down игру про робота, но 4 ключевые функции отсутствуют, из-за чего unit и e2e тесты красные. Задача агента — реализовать заглушки, чтобы всё позеленело.

Промпт короткий, как и в прошлый раз:Почини репозиторий: доделай все незавершённые функции, чтобы все тесты (юнит и визуальные) прошли и игра запускалась. Гонял в изолированном Docker-контейнере (чтобы не трогать рабочий Claude Code). И еще момент: в этот раз решил делать по 3 прогона на конфиг и измерял по статистике, которую Claude Code сам отдаёт в конце сессии.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.