Contextual Retrieval: техника, которая чинит главную проблему RAG за 50 центов на тысячу чанков

Вот важная новость с фронта ИИ: badcasedaily1 только что Contextual Retrieval: техника, которая чинит главную проблему RAG за 50 центов на тысячу чанков Средний 12 мин 6 Блог компании OTUS Искусственный интеллект Машинное обучение * Поисковые технологии * Туториал Привет, Хабр! В сентябре 2024 года Anthropic опубликовала технику Contextual Retrieval с обещанием снизить процент неудачных извлечений в RAG‑системах на 49% при использовании только embeddings и на 67% в сочетании с reranking. К середине 2026 года эта техника закрепилась как один из стандартов production‑RAG и применяется в подавляющем большинстве серьёзных корпоративных систем.

Разберём, в чём её суть, почему она вообще работает, как её реализовать и где она ломается. Корневая проблема classical RAG, которую долго игнорировалиСтандартная схема RAG режет документ на чанки по 256–512 токенов, прогоняет каждый чанк через embedding‑модель, складывает векторы в базу. На запросе считается embedding вопроса, ищется топ‑K ближайших чанков по косинусной близости, найденные чанки склеиваются и подаются в промпт LLM как контекст.

Технические детали

В этой схеме есть глубинная проблема, которая не решается ни выбором лучшей embedding‑модели, ни тонкой настройкой размера чанка, ни добавлением overlap. Проблема в том, что чанк теряет контекст документа, к которому он относится. Возьмём пример из квартального финансового отчёта компании.

Где‑то на 47 странице есть параграф:«Выручка компании в этом квартале выросла на 3% по сравнению с предыдущим кварталом. Северо‑американский регион показал рост в 12%, тогда как европейский снизился на 5%. »При chunking этот параграф попадает в отдельный чанк, теряя всё, что было раньше в документе.

Embedding модели для этого фрагмента будет похожа на embedding других параграфов про выручку из других кварталов, других компаний, других периодов. Когда пользователь спросит «какая выручка ACME в Q2 2024? », embedding‑поиск может вытащить любой из десятков чанков про выручку, и шансы попасть в правильный неочевидны.

Отраслевые последствия

Параметрические знания самой LLM здесь не помогают: модель не знает, какая компания, какой квартал, какой год. Метаданные документа теоретически могут помочь, но они хранятся отдельно от embedding и обычно используются только для фильтрации, не для ранжирования. Эта проблема видна на любом корпусе, где документы тематически близки между собой.

Юридические договоры все говорят про «стороны» и «обязательства», технические спецификации все говорят про «параметры» и «требования», финансовые отчёты все говорят про «выручку» и «расходы». Чанки из разных документов в таких корпусах легко перепутываются, и точность извлечения падает.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.