Токенная диета для ИИ-агентов: Caveman, Ponytail и Headroom

Значимый прорыв формирует отрасль ИИ: Overman775 только что Токенная диета для ИИ-агентов: Caveman, Ponytail и Headroom Средний 11 мин 0 Искусственный интеллект Open source * Программирование * Обзор У агентных помощников есть неприятная привычка: они быстро раздувают работу. Сначала длинный ответ там, где хватило бы одной команды. Потом новый слой кода вокруг задачи на пять строк.

Потом в контекст улетает полный лог, JSON на сотни элементов и кусок истории, который уже никто руками не читает. Каждая отдельная вещь выглядит терпимо. В длинной сессии это превращается в счет у провайдера, раннее сжатие истории, забитое окно контекста и потерянные детали.

Технические детали

Агент вроде продолжает работать, но внезапно забывает ограничение, на котором держалась задача. Отсюда и появилась странная, но практичная тема: токенная диета для агентов. На первом уровне это, конечно, экономия денег.

Меньше входных токенов, меньше выходных токенов, меньше счет при оплате по API. Но на практике история шире. Даже если вы сидите на подписке и не видите цену каждого запроса, длинная сессия все равно платит своим способом.

Контекст забивается мусором, среда может раньше уходить в сжатие истории, а в пересказах теряются маленькие условия, старые решения и ограничения из начала разговора. Сначала такие инструменты выглядели почти как мем. Caveman: агент отвечает как пещерный человек, без церемоний и длинных объяснений.

Отраслевые последствия

Потом появился Ponytail: “ленивый сеньор”, который перед написанием кода сначала проверяет, можно ли не писать его вообще. Теперь рядом всплыл Headroom: локальный слой, который сжимает логи, выводы команд, JSON и историю до того, как все это попадет в модель. Если смотреть по отдельности, это почти несвязанные вещи.

Один подход меняет стиль ответа. Второй меняет поведение при разработке. Третий лезет в канал между агентом и моделью.

Мне они интересны именно вместе. По ним видно, что фокус постепенно съезжает с вопроса “какую модель выбрать” к более скучному, но практичному вопросу: почему агент вообще так много тащит, пишет и проговаривает. И тут дело не только в цене токена.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.