Сравниваем LLM, 12 тестов для среднего класса: три Sonnet против GigaChat 2 MAX и YandexGPT Pro 5.1

Значимый прорыв формирует отрасль ИИ: В первой статье цикла мы гоняли по 12 тестам Opus 4. 1 Pro, во второй устроили дуэль тяжеловесов Claude Fable 5 и GPT 5. В комментариях нас несколько раз спросили: а что там у моделей попроще и, главное, у отечественных?

Спрашивали — отвечаем. Сегодня на ринге средний класс: три поколения рабочей серии Anthropic — Claude Sonnet 4. 6 и свежий Sonnet 5 — против старших отечественных моделей: GigaChat-2 MAX от Сбера и YandexGPT Pro от Яндекса.

Технические детали

Сразу о главном: почему такой состав. Мы долго думали, по какому принципу собрать пятерку, чтобы сравнение не превратилось в избиение младенцев, и остановились на цене. 5 Pro из прошлой статьи — это «Формула-1»: один запрос с большим вложением у них стоил сотни, а то и тысячи рублей.

Сегодняшние участники — то, чем реально возят грузы: Sonnet у Anthropic — массовая серия, в разы дешевле Opus, а GigaChat-2 MAX и YandexGPT Pro хоть и старшие модели своих экосистем, но по цене токена играют в той же лиге, что и Sonnet, а не в лиге западных флагманов. Забегая вперед: по нашим же чекам типовой запрос без вложений у всей пятерки стоит единицы рублей. Один ценовой класс — значит, сравнение равных.

А вот внутри класса, как выяснится, разброс возможностей огромный. Методика не меняется. Никаких бенчмарков и маркетинга — только реальные будничные задачи.

Отраслевые последствия

Тестируем через агрегатор нейросетей BotHub: он работает по API, а этот метод избавлен от подпорок и костылей, которые неявно помогают моделям в их веб-интерфейсах. Заодно сразу видим, во сколько каждое решение обходится по деньгам. Затраты по-прежнему измеряем в CAPS — внутренней валюте BotHub, привязанной к числу затрачиваемых токенов.

Напомним, за рубль можно купить от 4000 до 6500 CAPS в зависимости от объема покупки, считаем по курсу примерно 1 рубль = 6370 CAPS.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.