Slopsquatting: как мы 20 лет учили разработчиков не доверять пакетам, а потом всем скопом доверились LLM

В сфере искусственного интеллекта произошло заметное событие. Cloud4U 23 минуты назад Объяснить с Slopsquatting: как мы 20 лет учили разработчиков не доверять пакетам, а потом всем скопом доверились LLM 8 мин 753 Блог компании Cloud4U Информационная безопасность * Искусственный интеллект Программирование * Open source * Обзор Мы двадцать лет объясняли разработчикам одну простую истину:«Никогда не устанавливай непонятную зависимость из интернета. Ты вообще в курсе, что только что выполнил npm install и скачал непроверенный исполняемый код от какого-то Василия с аккаунтом, созданным 3 недели назад? »Мы внедряли композиционный анализ (SCA) и SBOM, выстраивали безопасность цепочки поставок ПО, читали отчёты Sonatype, Snyk и Chainguard, проводили воркшопы и конференции, писали статьи.

Боролись, чтобы разработчик думал, прежде чем добавить левую зависимость, — и эту борьбу гениальнейшим образом обнулили люди, которые однажды сказали: «А давайте вместо разработчика код будет писать ChatGPT». И кто в итоге оказался главным вектором supply-chain-атаки? Не APT-группировка и не злоумышленник, год вынашивающий операцию.

Технические детали

Главную брешь в цепочке поставок нам старательно и абсолютно бескорыстно вырыл обыкновенный LLM. Именно из этой особенности больших языковых моделей и родился такой термин, как Slopsquatting. Для начала разберёмся в терминологииСлово Slopsquatting образовано из двух частей:Slop — «помои, бурда».

Именно так известный британский исследователь ИИ Simon Willison предложил называть весь тот однотипный, натянутый, фальшивый контент, который LLM штампуют пачками. С тех пор термин AI-slop прочно закрепился в англоязычном интернете. Squatting — от «to squat», тут в значении «захватить».

Typosquatting (опечаточный захват доменов), Packagesquatting, Dependency Confusion. Классика — ты регистрируешь что-то очень похожее на настоящее в надежде, что жертва ошибётся. Slopsquatting — это когда ты предугадываешь, какое несуществующее название библиотеки оптимист-LLM придумает очередному доверчивому разработчику, — и публикуешь её первым.

Отраслевые последствия

А LLM настолько хочет быть полезным, что вынужден врать: галлюцинирует названия Python-, npm-, Go- и Rust-пакетов, с гордостью предлагает их импортировать — а этих пакетов в реестре никогда и не существовало. И если какой-нибудь злоумышленник заранее зарегистрирует это выдуманное название, то поздравляю, он только что организовал готовую supply-chain-атаку. Причём атакует он самого же LLM.

Точнее разработчиков, которые бездумно копипастят его ответы. Главная проблема LLM: патологический синдром полезностиЛюбой, кто хоть раз серьёзно пользовался ChatGPT, Claude, Gemini, Cursor, Cline или RooCode, рано или поздно с этим сталкивался. Просишь его:«Напиши мне простенький парсер CSV на Python, используй оптимальное решение»LLM гордо выдаёт тебе код:import csv_utils from fastcsv_parser import parse_csv ...

Смотришь на них и думаешь: «Ого, какие интересные библиотеки, я их даже не знаю». Именно эта мысль должна была бы немедленно насторожить.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.