Данные, которые нельзя выдумать: как мы собираем трейсы для тренировки агентских навыков Cotype

Значимый прорыв формирует отрасль ИИ: sir-timio 1 минуту назад Данные, которые нельзя выдумать: как мы собираем трейсы для тренировки агентских навыков Cotype Средний 11 мин 13 Блог компании MWS AI Блог компании МТС Искусственный интеллект Алгоритмы * Машинное обучение * Кейс Привет, Хабр! На днях мы выкатили третье поколение языковых моделей Cotype — флагманскую Cotype Pro 3 и ее облегченную версию Cotype Light 3 (к слову, лайт мы выкатили чутка раньше, но это не имеет значения). Почитать о характеристиках моделей можно вот в этом посте.

Тут же мы расскажем вам о нюансах обучения — точнее о том, как мы учим наши модели выполнять многошаговые сценарии без запинок, что совершенно необходимо, так как они выступают ключевым компонентом наших корпоративных ИИ-агентов и мультиагентных систем. Давайте сначала проблему опишу, для наглядностиПредставим, что клиент просит изменить заказ и называет свой e-mail. ИИ-агент, подключенный к каналу обслуживания, ищет по нему клиента и получает «не найдено» — адрес устарел.

Технические детали

Дальше есть три варианта развития событий:можно повторить тот же запрос и снова получить ту же ошибку; можно сообщить, что клиент не найден, и закрыть диалог; можно изменить признак поиска — найти клиента по имени и индексу — и продолжить. Получить довольного клиента можно, только если пойти по третьему пути. Большие языковые модели обычно без проблем понимают, что от них хотят, и успешно пробегают все шаги по этой дорожке: свериться со статусом перед записью, не потерять идентификатор между вызовами, не переспрашивать уже названное, не повторять упавший вызов вместо обходного пути.

А вот компактные модельки с такими механическими вещами не дружат, хотя и не хуже больших понимают, что нужно сделать. Эта проблема — не проблема для компаний, которые могут позволить себе LLM на сотни миллиардов параметров. Нашим же клиентам нужны модели, которые можно установить в контур и которые не разорят бизнес на инференсе.

Поэтому даже наша флагманская модель Cotype содержит всего лишь 27 млрд параметров, и это меньше, чем у предыдущего поколения. А облегченная версия — и вовсе 9 млрд. Мы учим наши компактные Cotype надежно вести многошаговые задачи с инструментами: сверяться с состоянием перед записью, работать с контекстом, искать обходной путь после ошибки.

Отраслевые последствия

Данные для этого собираем так, что выдумать их нельзя — каждый вызов в трейсе исполняется в настоящей базе через отдельный исполнитель инструментов, поэтому ошибки и восстановление в диалогах не постановочные. TL;DRНаш пайплайн собран на τ²-bench (tau2) — открытом фреймворке для оценки tool-calling-агентов в режиме dual-control, где роли агента и клиента играют отдельные модели. Под свою задачу мы его существенно доработали: добавили генерацию доменов, сбор трейсов с исполнением вызовов в базе и тренировочный контур.

RL-обучение (GRPO) идет поверх verl-agent gym.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.