Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее

Вот важная новость с фронта ИИ: sad__sabrina 2 минуты назад Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее Сложный 12 мин 10 Машинное обучение * Искусственный интеллект У статьи есть 1 часть: Стягивай куда нужно: Activation Steering Tutorial Привет, друзья! В первой части мы разобрали базовую идею steering-а и реализовали её тремя способами: через сырые PyTorch hooks, через nnsight и через pyvene.

Сработала ли наша база? Нет — и это мы тоже видели: вектор оказался инвертирован, эффект был умеренным, а на некоторых промптах не было никакого. Что с этим делать и как это сделать на питоне — и есть тема второй части.

Технические детали

Меня всё ещё зовут Сабрина, и примеры из ноутбука всё ещё не выражают мою личную позицию. TLDR:В прошлой статье мы разобрали классический стиринг на основе построения вектора по средним разностям контранстных пар. Но среднее имеет проблемы, данные имеют проблемы.

В этом туториале разберем проблемы (о, простите, третий раз) и open-source методы их решения. Будет много интуиции и математики. С чем поработаем:МетодИдеяОтличиеrepeng PCA на попарных разностях Ищет ось максимального согласованного разброса между парами pyreftОбучаемая low-rank интервенция Интервенция учится на данных, не строится аналитически.

Краткое напоминание, с чем мы работали. Activation steering — это inference-time интервенция в активации модели. Не файн-тюнинг, не промпт-инженерия — мы буквально берём вектор активаций в момент forward pass и двигаем его:Вектор строился методом CAA (Contrastive Activation Addition).

Отраслевые последствия

Мы брали два набора промптов — позитивный класс (tolerant) и негативный (hate) — снимали активации последнего токена на нужном слое и вычисляли разность средних:Мы посмотрели на результаты и были таковы. Обратите внимание, что в этой формуле мы нормируем весь вектор в единицу (а не вклад каждой пары). Вводные определения и инутивный смыслПрежде чем улучшать что-либо как-либо, надо понять своё "что" и почувствовать все возможные "как".

Этот блок вы можете прочитать как до основного контента, так и после или во время, если в голове в какой-то момент возникнет вопросительное "зачем". Что: проблемы среденегоТак как классический CAA аппелирует средней разностью, вспомним свойства среднего. Классический пример лекций по статистике — ситуация, когда в вашу выборку с зарплатой населения пришел Билл-Гейтс.

# Доход в месяц, $ # до Билла, среднее 3080. 29 # после Билла, среднее 31366. 0Отсюда среднее, и, стало быть, подход, использующий разность средних, чувствительны к выбросам: один нетипичный промпт сместит вектор-центроиду и он может съехать в пространстве.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.