Подключили LLM к базе на 253 таблицы тремя способами. Больше всех ошибались не модели

В сфере искусственного интеллекта произошло заметное событие. n_cto 10 минут назад Подключили LLM к базе на 253 таблицы тремя способами. Больше всех ошибались не модели Средний 10 мин 186 Машинное обучение * SQL * Управление разработкой * Кейс Recovery Mode 253 таблицы, 3 550 колонок и три комментария к схеме на всю базу. К этой красоте у нас прикручен агент, который пишет SQL за аналитиков: про него была первая статья.

Агент работает через MCP: модель сама вызывает инструменты — посмотреть список таблиц, прочитать схему, выполнить запрос. И вот на ревью очередной доработки мы разругались. Половина отдела: MCP это правильно, модель должна исследовать базу как человек.

Технические детали

Вторая половина, включая меня: дорого и медленно, надо вшить схему в промт и не гонять модель по десять раз за схемой, которая не меняется. Спорили аргументами уровня «мне кажется». Потом надоело, и мы сделали то, что надо было сделать сразу: собрали бенчмарк на своих данных и померили.

Спойлер: не подтвердилась ни одна из позиций спора. А главную ошибку эксперимента совершили не модели. Сначала калибровкаФинтех, миллион с лишним пользователей, шесть стран.

База: MSSQL, 253 таблицы, самая широкая — 274 колонки. Описаний в схеме нет: 3 записи MS_Description на всю базу, семантика полей живёт в C#-коде приложения в виде енамов. Рабочая модель: MiniMax-M2, температура 0.

Отраслевые последствия

Все цифры ниже — с этой конфигурации; на моделях другого класса и цены выводы могут развернуться, я это покажу. Дисклеймер тот же, что всегда: кейсы реальные, несущественные детали изменены, цифры компании округлены. Метрики эксперимента точные.

Боевой вариант: инструменты db_list_tables / db_describe / db_query, агент сам исследует схему и выполняет запросы. Позиция первой половины отдела. Два вызова модели: сначала ей показывают каталог всех 253 таблиц (имя плюс число колонок, всего 2 234 токена), она выбирает до 10 релевантных; потом получает полный DDL выбранных таблиц с их енамами и пишет SQL.

Наивный вариант, который мы добавили третьим, чтобы было от чего отталкиваться: весь DDL плюс все 346 енамов, 58 727 токенов в каждый запрос. Никто в отделе за него не топил. Про C мы заранее посчитали деньги, потому что «так никто не делает, это дорого».

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.