Почему model collapse может оказаться коллапсом не только моделей

Вот важная новость с фронта ИИ: «Мы принадлежим крестоформу? »Проблема коллапса моделей, или model collapse, сегодня хорошо известна. Если следующую генеративную модель обучать на текстах, созданных предыдущей, распределение обучающих данных начинает сужаться от поколения к поколению.

Сначала исчезают редкие случаи: необычные обороты, маловероятные сочетания, локальные знания, отклонения от нормы. Затем беднее становится и сама норма. Каждая отдельная генерация при этом может выглядеть убедительно: грамматически правильной, логичной и узнаваемой.

Технические детали

Ошибка проявляется не как немедленный бред, а как постепенное сокращение пространства возможного. Это похоже на последовательность копий: первая почти неотличима, десятая всё ещё узнаваема, сотая сохраняет общий контур, но теряет детали, которые никто не считал важными, пока они не исчезли. Здесь необходима оговорка.

Коллапс моделей не считается неизбежным: эксперименты показывают, что сохранение исходного человеческого корпуса данных и контролируемое добавление синтетических данных могут стабилизировать обучение. Но пока это больше похоже на способ сдерживать деградацию, чем на окончательное решение. Система по-прежнему требует постоянного внешнего якоря, а редкие части распределения могут исчезать первыми.

Для AI-компаний это хотя бы инженерная задача: корпус можно очистить, пересобрать, заново взвесить и повторить обучение. У людей такой возможности нет.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.