Как мы настраивали обвязку (harness) под модель: профиль GigaChat для Deep Agents

В сфере искусственного интеллекта произошло заметное событие. trashchenkov только что Как мы настраивали обвязку (harness) под модель: профиль GigaChat для Deep Agents Средний 19 мин 7 Блог компании Сбер Искусственный интеллект Машинное обучение * Кейс Привет, Хабр! На связи команда GigaChain. В этой статье мы расскажем, как итеративно настраивали обвязку (harness) Deep Agents под особенности GigaChat: правили промпты и описания инструментов, а часть правил зашивали прямо в код, и как сделали для этого открытый бенчмарк harness-bench-fast, чтобы измерять прогресс.

На зафиксированном сете из 391 задачи подключение профиля подняло долю решённых задач с 77,2% до 87,0%, а расход токенов сократило практически вдвое. У каждой модели свои привычкиМодели похожи снаружи: принимают промпт, умеют вызывать инструменты. Но привычки у них разные, и вендоры сами их описывают: у каждого есть промпт-руководство, как формулировать инструкции, какие инструменты давать, что модель понимает плохо.

Технические детали

Советы в этих руководствах расходятся. OpenAI в руководстве по Codex-моделям просит давать модели инструмент apply_patch для правки файлов и поощрять батчинг — привычку модели отправлять несколько независимых tool-вызовов одним ходом, что экономит раунды диалога; обвязка должна это явно разрешить и в промпте, и на уровне API. Anthropic в руководстве по промптингу Claude рекомендует другое: просить модель после каждого результата инструмента оценить его качество и только потом выбирать следующий шаг — эту инструкцию предлагается вставлять в системный промпт дословно.

Обе рекомендации полезны своим моделям и бесполезны либо вредны чужим. Если обвязка таких особенностей не учитывает, то качество работы агента проседает. Ярче всего это видно там, где под обвязку оптимизируют саму модель.

Claude Code — по опросу Pragmatic Engineer самый любимый у разработчиков кодовый агент — работает так хорошо ещё и потому, что Claude дообучают прямо в этой обвязке: модель и обвязка развивались вместе. У этого есть и обратная сторона: в чужой обвязке та же модель может ошибаться заметнее. Армин Ронахер, создатель Flask и сооснователь Earendil, компании, которая развивает агент Pi, разбирает случай, на который наткнулся сам: свежий Claude в сторонней обвязке вызывает инструмент правки в том формате, к какому привык, а в чужой схеме нужных полей нет, вызов отклоняется, хотя правку модель задумала верно.

Отраслевые последствия

Модель и обвязка — единая система; подтягивать их друг к другу можно с обеих сторон — настраивая модель под обвязку или обвязку под модель. В этой статье мы заходим со стороны обвязки. Профили обвязокМы уже рассказывали о Deep Agents — открытом фреймворке компании LangChain для построения агентных обвязок на стеке LangChain/LangGraph.

Файловая система, shell, планировщик, субагенты, память и навыки описаны в нём как абстракции: к каждой есть готовые реализации, при необходимости пишутся свои, а обвязку под задачу собирают из этих кубиков вызовом create_deep_agent().

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.