LLM-wiki против RAG: Оцениваем и сравниваем

В сфере искусственного интеллекта произошло заметное событие. khmelkoff 12 минут назад LLM-wiki против RAG: Оцениваем и сравниваем Средний 8 мин 348 Искусственный интеллект Natural Language Processing * Машинное обучение * Wiki-проекты * Мнение Про LLM-wiki здесь уже было несколько хороших статей (1, 2 и 3), поэтому подробно останавливаться на идее Andrej Karpathy не буду. В двух словах: вместо RAG-ретривера - wiki-агент, вместо чанков из сырых документов - связанные концепт-страницы, вместо обновления - перекомпиляция и поиск «битых» ссылок. Насколько LLM-wiki лучше, или может быть хуже чем RAG, пусть даже простейший, с обычным векторным поиском?

И как их можно сравнивать? Кажется, общепринятой методики оценки ещё не сложилось. Тем не менее я попробовал, и получил неожиданные результаты.

Технические детали

Об этом и расскажу, а ещё о методике оценки, о wiki-агенте для тестов, о том что получилось, что - нет, и даже сколько это стоило. Качество RAG систем в ряде методик определяется по оценке выдачи ретриверов с учетом вопроса и правильного ответа, однако прямо сравнить найденные в wiki страницы с чанками из RAG у меня не получилось. Поэтому я решил сравнивать ответы LLM, причём не между собой, а с эталоном.

В качестве эталона выбрал ответ LLM, которая «видела» весь исходный текст целиком. Чтобы можно было посчитать метрики, пришлось из ответов сначала выделить факты. Получилось две группы сравнений - факты эталона с фактами из ответа на основе wiki и факты эталона с фактами от RAG-агента.

Вот так выглядит архитектура получившейся у меня системы оценки:Архитектура системы оценкиИсходный текстВ качестве исходного текста во всех экспериментах был использован синтетический документ Директива 401, вымышленный корпоративный правовой акт, устанавливающий режим абсолютной собственности могущественного консорциума над клонированными и синтетическими живыми существами. Пять глав и 24 статьи ледяного формализма с перекрестными ссылками. Документ охватывает два домена - корпоративное право и биотехнологии, даже скорее биопанк.

Отраслевые последствия

Сама Директива была подготовлена gemma4:31b. Вопросы для тестовВсе вопросы были синтезированы моделью gpt-5. Вместе с формулировкой модель возвращала перечень номеров статей, которые по её мнению использовались при синтезе.

Я подготовил две группы вопросов - простые, фактологические, для них использовался контекст только одной статьи документа, и кейсовые. При генерации кейсов модель получала тему и видела весь документ. Сначала синтезировал по 40 вопросов каждого типа, отфильтровал несколько вопросов со слишком длинным перечнем использованных статей.

Из оставшегося набора сделал выборку 20 + 20 и далее этот вопросник использовал во всех тестах. Примеры формулировокФакт-вопрос:Опишите, какие обязанности возлагаются на Носителя в отношении процедуры инвентаризации белковых структур и какие последствия наступают в случае попытки препятствовать её проведению или искажать данные. Уточните, какие корпоративные структуры отвечают за техническую реализацию данной процедуры.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.