Machine Unlearning. Как измерить и достичь «забывания»?

В сфере искусственного интеллекта произошло заметное событие. MidavNibush 3 минуты назад Machine Unlearning. Как измерить и достичь «забывания»? Средний 13 мин 17 Блог компании Конференции Олега Бунина (Онтико) Блог компании Raft Искусственный интеллект Машинное обучение * Data Engineering * Обзор Всем привет!

Меня зовут Вадим, я — Data Scientist в компании Raft. Эта статья написана по мотивам моего выступления на конференции AiConf 2025. В ней мы разберём, какими метриками измеряется машинное разучивание и какие основные методы позволяют добиться контролируемого «забывания» без полного переобучения модели.

Технические детали

Погрузимся в методы, метрики и бенчмарки, связанные с машинным разучиванием. В первой части мы рассказали, зачем моделям вообще нужно уметь забывать требования регуляторов, удаление персональных данных, устранение вредных или чувствительных знаний. Логичный вопрос — как понять, что модель действительно забыла информацию и как этого можно добиться?

Недостаточно просто удалить конкретные примеры: модель может по-прежнему хранить их в параметрах и воспроизводить при другом контексте или атаке. И даже если забывание произошло, как убедиться, что при этом не разрушилась вся остальная функциональность модели? В этой статье я рассмотрю три ключевых аспекта:Метрики разучивания: как формально измерить, что информация из модели была удалена, и при этом не пострадала её полезность.

Рассмотрим показатели, которые оценивают как забывание конкретных данных, так и сохранение производительности на оставшихся задачах, а также эффективность вычислений. Методы разучивания: как «стереть» информацию из модели без полного переобучения и как выбрать подходящий подход на основе вашей задачи. Будут рассмотрены различные методы: градиентные подходы, дистилляция знаний и другие архитектурные решения.

Отраслевые последствия

Бенчмарки: какие на текущий момент времени существуют бенчмарки в этой области. Рассмотрим наиболее распространенные для LLM, VGM и MLLM. Основные метрики оценки разучиванияВ целом, метрики для разучивания моделей можно поделить на три большие группы:Метрики забвения, которые показывают, насколько эффективно модель смогла «забыть» данные для удаления.

Метрики качества модели, которые оценивают, насколько хорошо модель сохранила свое качество после «удаления» данных. Метрики вычислительной эффективности, которые оценивают количественные затраты ресурсов для процесса разучивания. Рассмотрим каждый класс метрик наиболее подробно.

Таксономия метрик машинного разучиванияМетрики забыванияБазовой метрикой для оценки качества разучивания является Unlearn Accuracy. Она измеряет, насколько модель успешно «забыла» именно те примеры, которые должны быть исключены из её знаний.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.