Три модели с точностью 95%. Почему их цепочка может дать только 85%?

Вот важная новость с фронта ИИ: Например, один участник выбирает ветку кошек, другой - собак. Система может сохранить обе ветви, запросить более качественное изображение или передать случай человеку. Для этого в архитектуре заранее нужны доступ к исходному объекту, возможность пересмотра маршрута и ограничение числа дополнительных попыток.

Если такой возможности нет, обнаруженное несогласие останется красивой записью в журнале. Согласие тоже не даёт гарантии. Все участники могут уверенно повторить одну ошибку.

Технические детали

Поэтому проверять нужно конкретный вопрос: помогает ли несогласие выделять ошибки лучше, чем более дешёвый сигнал от одной модели, при сопоставимом бюджете? Работы по deep ensembles дают основания исследовать ансамбли как способ оценки неопределённости. Но в них полезное разнообразие возникает и при обучении сетей одной архитектуры.

Отдельно авторы Rethinking Mixture-of-Agents показывают, что объединение ответов разных LLM не всегда выигрывает у объединения нескольких ответов одной сильной модели.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.