Я сутки гонял GPT-5.6 против Claude Fable 5: бенчмарки не сказали мне главного

В сфере искусственного интеллекта произошло заметное событие. ai-pomogator 11 минут назад Я сутки гонял GPT-5. 6 против Claude Fable 5: бенчмарки не сказали мне главного 3 мин 360 Искусственный интеллект Программирование * Девятого июля OpenAI наконец выкатила GPT-5. 6 в общий доступ и заодно сбросила лимиты.

Я ждал этого релиза не из любопытства: у меня ежедневные агентные сессии по несколько часов, и мне нужно было понять — переезжать или нет. Бенчмарки я читать устал, поэтому сел смотреть живые генерации, которые люди публикуют в X, и параллельно гонял модель на своих задачах через собственный прокси-сетап. Расскажу, что увидел, и почему мой главный вывод оказался не про качество генераций вообще.

Технические детали

Почему я не верю таблицам с процентамиУ меня накопилась личная претензия к бенчмаркам: они не отвечают на вопрос «что будет, если я дам модели мою задачу». Проценты на SWE-Bench не показывают, как модель ведёт себя на длинной сессии, когда контекст забит инструментами, правилами и выводом команд. Поэтому я выбрал другой формат проверки: одинаковые промпты двум моделям, результат смотрю глазами.

Плюс чужие парные тесты — энтузиасты в X делают именно это, и по их роликам видно то, чего в таблицах нет. Четыре парных теста, которые я разобрал подробно: воксельная птица с анимацией, гоночная 3D-игра, интерактивный дом и шутер от первого лица. Всё — одним промптом, без доводки.

Что я увидел в живых генерацияхРасклад получился не таким, как я ожидал. Я думал, свежая модель OpenAI либо заберёт всё, либо сольёт всё — а вышло ровно пополам, и что интереснее, по понятному принципу. 6 стабильно выигрывала там, где нужна интерактивность и трёхмерная логика: её дом — это не рендер, а маленькая песочница, где открываются ящики и включается свет; её анимация птицы двигалась естественнее.

Отраслевые последствия

Fable забирала там, где важна картинка и законченность: чистый рендер без пересветов, шутер, который выглядит как собранный руками прототип, а не техдемо. У версии GPT в шутере прицел оказался буквально непрозрачным — сквозь оптику ничего не видно. Мелочь, но именно такие мелочи отличают «работает» от «играбельно».

Для меня это первый практический вывод: спрашивать «какая модель лучше» бессмысленно, пока не определишь, что для твоей задачи важнее — интерактив или рендер. Мой личный тест провалился — и это тоже результатСо своими задачами вышло смешнее. Fable я так толком и не смог погонять: на моих запросах — кодинг-задачи, разбор медицинских анализов — модель раз за разом сваливалась в фолбек на Opus «по соображениям безопасности».

Формально это задокументированное поведение нового safety-класса, по факту — я плачу за модель, которой не могу воспользоваться. 6 те же запросы отработала без единого вопроса. Контекстное окно: где маркетинг расходится с прокси-логамиТеперь главное.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.