Обновление бенчмарка MERA Text 2.0

В сфере искусственного интеллекта произошло заметное событие. Всем привет, с вами команда MERA. В прошлом анонсе мы рассказали о новых публичных тестах на рассуждения и обещали, что следующим большим обновлением станет основная текстовая часть MERA. Пришло время выполнить обещание: представляем MERA Text 2.

0 — новую версию текстового бенчмарка и, по сути, переосмысление, что сегодня имеет смысл измерять у фундаментальных текстовых языковых моделей. Первую версию MERA мы начали создавать ещё в 2023 году. В то время бенчмарки хорошо разделяли модели в задачах, которые сегодня кажутся намного проще: знания о мире, логика, причинно-следственные связи, понимание текста, профессиональные и предметные знания.

Технические детали

Во многих из этих задач даже сильным моделям было куда расти, и сам факт успешного решения уже многое говорил об их возможностях. За три года картина заметно изменилась. Модели стали значительно умнее, а вместе с ними изменились и требования к оценке.

На прежнем бенчмарке MERA современные SOTA-модели уже достигают, а в отдельных задачах и превышают результаты человека (Human Baseline). Часть тестов постепенно насыщается: верхняя часть бенчмарка сжимается, разница между сильными моделями становится всё менее заметной, а некоторые задачи просто перестают давать нам достаточно новой информации. Для бенчмарка это естественный жизненный цикл.

Если несколько лет назад вопрос был, скорее: «умеет ли модель это делать вообще? », то сегодня всё чаще приходится спрашивать: «где проходят реальные границы её возможностей? Поэтому мы решили не просто добавить в старый бенчмарк ещё несколько датасетов.

Вместо этого мы пересобрали текстовую оценку вокруг групп навыков, которые пока ещё остаются сложными и содержательными для современных моделей.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.