Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT

В сфере искусственного интеллекта произошло заметное событие. Sherstpasha 4 минуты назад Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT 7 мин 8 Блог компании МТС Natural Language Processing * Визуализация данных * Искусственный интеллект Машинное обучение * Обзор Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.

В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования. Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков.

Технические детали

Разберемся, как он устроен и насколько эффективен. Мы живем в мире сложных графиковПосмотрите на этот пример из коллекции задач для подготовки к ОГЭ за 2026 год:Источник: ОГЭ-2026. Математика: задания, ответы, решения.

Задание № 31 // РЕШУ ОГЭ : образовательный портал Сможете ли вы ответить верно? Это не олимпиадная задача и не хитрый тест на абстрактное мышление с кружкой, у которой дна нет, а верх запаян, но если взять наугад 10 похожих задач и прогнать их через популярные мультимодальные модели, результаты окажутся такими:GPT-4o — 46% правильных ответов;Gemini 2. Да, это не самые передовые модели.

Для сравнения: GPT-5. Но если даже одна из лучших моделей ошибается на задачах из ОГЭ, насколько надежно доверять ей анализ финансовых отчетов или рыночных данных? Этот игрушечный эксперимент иллюстрирует серьезную проблему, на которую указывают исследователи из MIT и IBM Research: современные VLM все еще не очень хорошо справляются с анализом и интерпретацией графиков.

Отраслевые последствия

А графики можно встретить повсюду — в научных статьях, финансовых отчетах, политических и спортивных исследованиях. Похоже, дело не только в размере моделей. Авторы работы ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding считают, что одна из главных причин — нехватка качественных обучающих данных.

Именно поэтому они разработали ChartNet. Данных много, а толку малоСначала стоит посмотреть, какие наборы данных уже существуют. Анализ и интерпретацию графиков объединяют термином Chart Understanding — сюда входит широкий спектр задач: от ответов на вопросы по графику и его описания до извлечения исходных данных и восстановления кода построения.

Датасетов действительно много. Авторы прямо сравнивают ChartNet с предыдущими решениями в таблице:Источник: Kondic J. ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding // arXiv.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.