OpenAI связала часть кампании по извлечению рассуждений с Moonshot AI

Важная новость наделала шума в экосистеме блокчейна. OpenAI раскрыла результаты расследования июльской кампании по извлечению защищенных рассуждений ее ИИ-моделей. Эксперты связали ядро активности с людьми, ассоциированными с китайским разработчиком Moonshot AI, но не утверждает, что все выявленные операторы относились к одному субъекту. Первые признаки активности OpenAI зафиксировала 1 июля.

Пик пришелся на 24–25 июля: специалисты обнаружили около 16 000 запросов с характерным паттерном извлечения от более чем 4000 пользователей. «Участники кампании не взламывали наше шифрование, не получали несанкционированного доступа к базе данных или прямого доступа к сохраненным перепискам пользователей. Вместо этого они манипулировали взаимодействиями с моделями, добиваясь воспроизведения защищенных рассуждений в доступном для отправителя запроса виде», — говорится в уведомлении.

Динамика рынка

Более широкий анализ выявил похожую активность в кластере из свыше 15 000 пользователей. К 28 июля OpenAI полностью пресекла выявленную кампанию. По утверждению разработчиков, 16 000 запросов отражают попытки извлечения, которые не обязательно были успешными.

Долю случаев, когда операторам действительно удалось получить защищенные рассуждения, фирма не раскрыла. OpenAI сочла происходящее соответствующим признакам дистилляции — несанкционированного использования ответов или рассуждений одной модели для обучения, воспроизведения или улучшения другой. Один из методов заключался в переносе зашифрованного блока рассуждений из одного разговора в другой.

Затем оператор пытался заставить модель воспроизвести его скрытое содержимое. OpenAI не связала выявленную кампанию с обучением какой-либо конкретной модели Moonshot AI и прямо указала, что не может определить, принадлежали ли все обнаруженные операторы одному субъекту. «Неясно, действовали ли все участники, которых мы наблюдали в этот период, от имени одной стороны.

Влияние на рынки

Однако основную группу связанных действий мы приписываем лицам, связанным с Moonshot AI — разработчиком Kimi», — отметили в компании. После расследования OpenAI заблокировала или ограничила связанные с инцидентом аккаунты, усилила проверки при регистрации и контроль инфраструктуры, а также расширила мониторинг связанных сетей. Помимо этого, закрыт путь для повторного использования уже полученного зашифрованного блока рассуждений в другом разговоре и добавлены проверки стримингового вывода на возможные утечки.

OpenAI также усилила изоляцию защищенных рассуждений между пользователями, рабочими пространствами, организациями и семействами моделей. «Злонамеренная дистилляция создает риски как для безопасного использования ИИ, так и для национальной безопасности. Извлеченные рассуждения могут использоваться для обучения другой модели без сохранения защитных механизмов, которые применяются к ответам исходной модели, показываемым пользователю.

В больших масштабах дистилляция также может ускорить перенос передовых возможностей без сопоставимых вложений в безопасность.

Эта перемена продолжает формировать ландшафт цифровых активов.