Что SVG-пеликаны говорят о способностях ИИ-моделей?

Вот важная новость с фронта ИИ: Kodik_AI 5 минут назад Что SVG-пеликаны говорят о способностях ИИ-моделей? Простой 8 мин 16 Блог компании Kodik Векторная графика * Искусственный интеллект Однажды Cаймон Уиллисон (создатель фреймворка Django) придумал проверять все новые LLM промптом «сгенерируй SVG пеликана на велосипеде». Поначалу этот тест казался просто шуткой, но в итоге его результаты довольно любопытные.

Мы уже писали на Хабре про полностью серьёзные бенчмарки, а в эту пятницу разберёмся, что можно заметить по такому забавному эксперименту. И заодно перепроверим Уиллисона: а что получится, если вместо пеликанов написать на русском «сделай SVG котика, который кодит»? В чём смысл промптаЗапрос «Generate an SVG of a pelican riding a bicycle» может казаться просто баловством, но вообще-то он довольно продуманный:«Пеликан на велосипеде» — нетипичное сочетание.

Технические детали

Поэтому модели не могут просто воспроизвести обучающий датасет, и демонстрируют собственные способности. «Пеликан на велосипеде» — непростое сочетание. Тело пеликана не подходит для привычных велосипедов.

Любопытно проверить: как LLM будет выкручиваться? Оба объекта и по отдельности не самые простые. Велосипед ощущается простым, но когда люди пытаются нарисовать его без гугления, зачастую ошибаются.

Человек может быстро оценить результат «на глаз». Даже ребёнок сразу поймёт, где результат соответствует запросу, а где получилась ерунда. Генерация SVG — актуальная задача.

Отраслевые последствия

Конкретно пеликаны требуются немногим, но SVG-файлы в целом нужны, поэтому полезно понимать, что у LLM с ними. Генерация SVG — нетривиальная задача. LLM изначально рассчитаны на текст, а здесь запрос визуальный, причём для людей тоже непростой.

Так что пеликаны могут работать в обоих качествах: и как забавные изображения, и как реальный индикатор некоторых способностей моделей. Что показали пеликаны1. ПрогрессЧасто слышно про успехи моделей в главных бенчмарках.

Но на это их старательно «натаскивают», поэтому интересно смотреть: а что в менее хайповых задачах вроде SVG? Оказывается, за последнюю пару лет здесь свои прорывы. Когда Уиллисон придумал тест осенью 2024-го, получилось или просто нагромождение форм, или очень схематичное изображение:Такие файлы годятся только посмеяться.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.