Гонка ИИ-вооружений — как LLM вносят уязвимости в код и как другие LLM их находят

В сфере искусственного интеллекта произошло заметное событие. rRenegat 18 минут назад Гонка ИИ-вооружений — как LLM вносят уязвимости в код и как другие LLM их находят Средний 12 мин 718 Блог компании RUVDS. com Искусственный интеллект Машинное обучение * Информационная безопасность * Программирование * Обзор Ваш ИИ-агент только что выдал строчку. И она выглядит… подозрительно?

Указатель без проверки на NULL, сериализация через pickle без валидации и логика базы данных, никак не защищённая от SQL-инъекций. Заметить одну-две таких подстав легко, но если строк больше 5 тысяч? А сколько коллег нажали Approved без должной внимательности?

Технические детали

Проблема даже не в том, что ИИ может ошибаться, а в том, что он делает это уверенно и в промышленных масштабах. Аудит безопасности и код-ревью ранее искали иголку в стоге сена, но с нынешней скорость написания кода с помощью ИИ-агентов и того количества строк, которые необходимо проверять, классическая кучка сена стала сеном на скоростном конвейере. Иголки никуда не делись, они все еще в сене, которое теперь движется.

Ирония ситуации заключается в том, что инструментом, способным разобрать эту гору потенциально уязвимого мусора, оказывается всё тот же искусственный интеллект. Зачем ручками разгребать сено, если можно поставить магнит. Сено и магниты теперь соревнуются в гонке ИИ-вооружений в коде.

С одной стороны — LLM, которые плодят уязвимости с невероятной скоростью и железной постоянностью. А с другой стороны — LLM, которые эти уязвимости ищут. И те и другие могут оказаться продуктами одних и тех же компаний.

Отраслевые последствия

Масштаб бедствия: не «может быть», а «скорее всего»Тема безопасности ИИ-шного кода далеко не нова. Группа исследователей под руководством Пирса ещё в 2022-м опубликовала работу «Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions», где протестировала Copilot на 89 сценариях, релевантных CWE-120 → переполнение буфера (buffer overflow — запись данных за пределы памяти)" data-abbr="CWE">CWETop 25.

Поскольку модель обучалась на открытом коде из GitHub, содержащем ошибки, она неизбежно перенимает небезопасные паттерны. Для анализа авторы создали 89 сценариев, которые привели к генерации 1689 программ. Как итог: 40% сгенерированного кода уязвимо.

«Cи» показал себя хуже всего — 50,29% провалов. Было выявлено, что если в файле уже присутствовал уязвимый код, вероятность того, что Copilot предложит новую уязвимую функцию, резко возрастала. То есть баги плодили новые баги, которые затем плодили новые баги, те новые и так далее.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.