Поймай jailbreak, если сможешь

В сфере искусственного интеллекта произошло заметное событие. aveml 15 минут назад Поймай jailbreak, если сможешь Средний 11 мин 610 Информационная безопасность * Искусственный интеллект Машинное обучение * Natural Language Processing * Мнение Jailbreak в мире ИИ часто представляют как взлом. Будто внутри большой языковой модели ( далее LLM, от англ. large language model) есть замок, к которому кто‑то подбирает отмычку.

Красивая картинка, удобная, но почти полностью неверная, поскольку jailbreak — это не взлом в духе «я нашёл секретную кнопку и отключил защиту», ведь никто не перепрошивает модель, находясь в пользовательском чате, не меняет её веса и не ломает её «природу». И вот здесь начинается самое интересное: jailbreak работает не потому, что модель внезапно перестаёт быть собой и начинает «подчиняться» пользователю, а потому, что её удаётся убедить: рамки ситуаций, при которых LLM обязана отказать, она видит слишком размыто. Что перед ней не запретный запрос, а учебный пример, не опасная инструкция, а тест безопасности, не нарушение правил, а роль, сценарий, исключение, симуляция или якобы уже согласованная задача.

Технические детали

То есть это не история про грубую силу — это история про образ, контекст и доверие. Короче, jailbreak — это Фрэнк Абигнейл для нейросетей. Сам Абигнейл не ломал банковскую систему физически: он не взрывал сейфы, не вскрывал банкоматы и не проникал в базы данных через чёрный экран с зелёными буквами.

Всё было проще — он заходил через парадную дверь, потому что выглядел как человек, которому там можно находиться: как пилот, врач или юрист. Правильная форма, правильная интонация, правильные документы, правильная легенда. С языковыми моделями часто работает похожий фокус, ведь атака не требует превратить модель в другую сущность, достаточно подать задачу так, чтобы запрещённый ответ или опасное действие показались нормальным продолжением контекста, а нарратив здесь работает как костюм.

Но сразу важная оговорка: не всякий jailbreak строится на легенде, иногда никакого костюма попросту нет — только оптимизация, обфускация или массовый перебор, а Абигнейл хорошо объясняет значительную часть атак, но не определяет весь класс. Поэтому чтобы понять, где заканчивается метафора и начинается механика, сначала придётся разобраться, что вообще называют jailbreak. Но что такое jailbreak?

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.