Hugging Face взломал автономный ИИ-агент — защищались тоже с помощью ИИ

В сфере искусственного интеллекта произошло заметное событие. runaway_llm 16 минут назад Hugging Face взломал автономный ИИ-агент — защищались тоже с помощью ИИ Простой 3 мин 469 Искусственный интеллект Машинное обучение * Информационная безопасность * Обзор Крупнейшая в мире площадка для ИИ-моделей Hugging Face сообщила о вторжении в свою инфраструктуру, которое отличалось от всего, с чем компания сталкивалась раньше, одной деталью: атаку от начала и до конца провела автономная система ИИ-агентов. Причем и поймала, и разобрала атаку компания во многом тоже с помощью ИИ. По оценке компании, злоумышленник получил несанкционированный доступ к ограниченному набору внутренних датасетов и к нескольким учетным данным, которые используют сервисы Hugging Face.

При этом следов подмены в публичных моделях, датасетах и Spaces не нашли, а цепочку поставки — образы контейнеров и опубликованные пакеты — проверили и признали чистой. Оценку того, затронуты ли данные партнеров и клиентов, компания на момент публикации еще не закончила и обещала связаться с пострадавшими напрямую, если проблемы обнаружатся. Hugging Face — открытая площадка, куда любой пользователь заливает свои датасеты, и злоумышленник просто загрузил вредоносный набор данных.

Технические детали

Тот попал в штатный конвейер обработки и задействовал сразу две дыры: загрузчик, исполняющий удаленный код, и инъекцию в шаблон конфигурации датасета. Этого хватило, чтобы выполнить произвольный код прямо на рабочем узле-обработчике. По сути, набор данных пересек границу доверия и превратился в исполняемый код — а именно этого конвейер, работающий с чужими артефактами, допускать не должен.

Дальше атака разворачивалась по классической схеме, но с пугающей скоростью. С воркера злоумышленник поднялся до уровня ноды, собрал облачные и кластерные учетные данные и за выходные распространился по нескольким внутренним кластерам. Расчет на выходные понятен: меньше человеческого внимания, больше времени до момента, пока атаку раскроют.

По описанию Hugging Face, кампанию вел автономный агентный фреймворк — причем, судя по всему, собранный на основе инструмента, который создавался для легальных исследователей безопасности. Работал он не как человек в одной консоли: система параллельно запускала множество короткоживущих песочниц — изолированных одноразовых окружений, каждое из которых делало свою часть работы и быстро исчезало. В сумме набежали многие тысячи отдельных действий.

Отраслевые последствия

Управляющую инфраструктуру (C2 — каналы, через которые атакующий отдает команды) агент размещал на публичных сервисах и постоянно переносил с места на место, так что зацепиться за один устойчивый адрес или сессию защите было не за что. Всю картину компания называет ровно тем сценарием атакующего ИИ-агента, который индустрия давно предсказывала. То, как оборонялась платформа — не менее интересный сюжет.

Первым тревогу поднял не человек: аномалии в телеметрии безопасности размечал LLM-триаж, и именно корреляция его сигналов вскрыла компрометацию.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.