Почему ИИ плохо писал на COBOL и что изменилось: разбираем новый бенчмарк OpenAI

Значимый прорыв формирует отрасль ИИ: runaway_llm 4 часа назад Краткое содержание статьи Почему ИИ плохо писал на COBOL и что изменилось: разбираем новый бенчмарк OpenAI Простой 4 мин 3. 4K Искусственный интеллект Программирование * Cobol * Машинное обучение * Обзор OpenAI опубликовала пост о том, как ее модели справляются с “малоресурсными” языками программирования – COBOL, Fortran, Visual Basic, OCaml. Компания выложила новый бенчмарк MultiLangBench и привела результаты второго, закрытого теста на перенос старого кода.

Цифры впечатляют: в закрытом тесте на перенос COBOL-программ GPT-5. 6 Sol справлялась с 5,4% заданий, новая GPT-6. 1 Sol при тех же настройках – с 86,6%, а если дать ей подумать подольше – с 97,9%.

Технические детали

Еще в феврале конкурирующая Anthropic заявила, что Claude Code берет на себя самую трудоемкую часть модернизации COBOL – разбор и документирование старого кода, и компании смогут обновлять такие системы “за кварталы, а не за годы”. В тот день акции IBM, чьи мейнфреймы десятилетиями обслуживают этот код, упали на 13,2% – сильнее всего с октября 2000 года. Теперь в ту же область идет OpenAI, и уже с результатами тестов.

Почему COBOL труден для нейросетейCOBOL появился в 1959 году как язык для бизнес-расчетов и до сих пор работает в банках, страховых компаниях и госсекторе. OpenAI в своем посте ссылается на оценки IBM: на COBOL держится больше 40% систем онлайн-банкинга, 80% оплат картой в магазинах и 95% операций в банкоматах. Оценка не очень прозрачная, так что цифры лучше считать порядком величины, но масштаб понятен.

Fortran в том же посте назван языком прогнозов погоды и расчетов безопасности ядерных реакторов. Именно на таких языках нейросети исторически пишут хуже всего. Модели учатся на открытом коде и обсуждениях, а открытого кода и документации на COBOL намного меньше, чем на Python или большая часть банковских программ никогда не покидала стен компаний.

Отраслевые последствия

Это и называют малоресурсностью: язык важный, но примеров для обучения мало. Независимые замеры это подтверждают. В апрельской статье о модели COBOL-Coder GPT-4o писала на COBOL компилируемый код в 41,8% случаев, а правильный с первой попытки – в 16,4%.

Открытые CodeLlama, StarCoder2 и CodeGemma почти не выдавали программ, которые хотя бы компилируются, а перевод с Java на COBOL у универсальных моделей был близок к нулю. Два теста на разные способностиMultiLangBench проверяет модели на большой задаче, а не на олимпиадных упражнениях. Модель должна с нуля написать движок базы данных, совместимый с SQLite 3.

1, на одном из 20 языков – от C и Python до COBOL, Fortran, Zig и даже языка математических доказательств Lean. Интернета нет, все следы SQLite из окружения удалены – у модели только документация. Готовая программа получает файл базы и SQL-запрос, а итоговое содержимое базы потом проверяют настоящей SQLite.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.