Закрытый Jev против открытой Laya: сравниваем decision-модели в RAG-реранжировании

Значимый прорыв формирует отрасль ИИ: NullPilot 26 минут назад Закрытый Jev против открытой Laya: сравниваем decision-модели в RAG-реранжировании Средний 10 мин 927 Машинное обучение * Поисковые технологии * Natural Language Processing * Аналитика Можно ли заменить облачный Jev локальной Laya Multilingual? После сравнения Jev с обычными LLM проверил Jev и Laya на реранжировании документов. Сравнил качество и скорость на трех поисковых наборах, добавив специализированные BGE и Qwen3-Reranker.

Зачем здесь реранкерПредставим вопрос: как найти честного страхового брокера в Канаде? Поиск может вернуть и советы по выбору специалиста, и обсуждение дешевой автостраховки. Во втором тексте тоже есть Канада, брокеры и страхование, но вопрос пользователя другой.

Технические детали

Реранкер получает запрос вместе с каждым найденным документом, оценивает релевантность и меняет порядок выдачи. В RAG модель пишет ответ с опорой на найденные документы; реранжирование помогает выбрать, какие из них ей передать. Здесь я проверял только поиск и реранжирование, без генерации ответа.

Подготовил два варианта исходной выдачи:BM25 - лексический поиск по словам запроса. Гибридный поиск - BM25 и поиск по векторам, объединенные через RRF (Reciprocal Rank Fusion). Этот алгоритм складывает баллы за позиции документа в двух списках.

Для гибридного варианта брал по 100 документов из каждого поиска, объединял результаты с равными весами и параметром RRF k=60, затем оставлял первые 20. Для отдельного варианта BM25 также сохранял 20 кандидатов. Векторы строила jinaai/jina-embeddings-v2-small-en.

Отраслевые последствия

Два варианта поиска и реранжирование двадцати кандидатовBM25 и RRF проверяются отдельно. Внутри каждого варианта все реранкеры получают одинаковые 20 документов. Пунктиром выделен этап, время которого измерялось.

Реранкер не ищет новые документы. Если нужного ответа нет среди двадцати кандидатов, перестановкой его не получить. Поэтому сравнивать модели нужно не только друг с другом, но и с исходным порядком поиска.

Кто участвуетJev от TypeSafe и Laya возвращают заданный тип решения - например, оценку вероятности ответа “да”. Такие модели называют decision-моделями. В этом эксперименте вопрос один: релевантен ли документ запросу?

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.