Как не нарваться на prompt-injection или зачем нам проверять скиллы?

Вот важная новость с фронта ИИ: ZergsLaw 4 минуты назад Как не нарваться на prompt-injection или зачем нам проверять скиллы? Простой 4 мин 2 Искусственный интеллект Информационная безопасность * Туториал В прошлой статье говорили про использования LLM хакерами, и обещал как раз продолжение, как защищить свое рабочее пространство, ну в общем, к делу :)Когда последний раз вы проверяли библиотеку на уязвимости? Или софт, что вы ставите и используете - проверяли?

Ну, вот и я также - почти что никогда (раньше)Суть вот в чем, мы в одной из прошлых статей то и обсуждали, что разработка своих скиллов - это естественная история, но и использование oss скилов - аналогично, особенно когда эти скиллы не просто MD файл, а полноценный инструмент взаимодействияНо, проблема в том, что скилл это не конфиг и не просто “промпт” в SKILL. md - это буквально может быть и исполняемым кодом и самое важное - с твоими правами :)Меня зовут Эдгар Сипки. Я инженер и более 10 лет работаю с backend-системами, AI / LLM-инструментами.

Технические детали

Выступаю на AI Conf, TeamLead Conf, HighLoad, отбираю доклады на Golang Conf в программном комитете. А в своём тг-канале делюсь прикладными AI-инструментами и подходами для разработки - подписывайтесь :)Но, зачем мне боятся то скиллов? Есть исследование на 42 447 скиллов с маркетплейсов, и в итоге 26.

1% содержат уязвимости, 5. 2% - скорее всего вредоносные. Но и это еще не все, каждый четвёртый - с дырой, f каждый двадцатый - закладка, к примеру промпт-инъекции, сбор env-переменных с твоими ключами, отправка контекста наружу, в общем полный наборА, кстати, еще :)Скиллы с исполняемыми скриптами уязвимы в 2.

12 раза чаще, лежит в скилле . sh - проверять обязательно стоитНо, как говоритсяКак защититься? NVIDIA выкатили SkillSpector - сканер скиллов ДО установки, а ставится одной строкой:uv tool install git+ # альтернативы: сборка из исходников (git clone + make install) или Docker - см.

Отраслевые последствия

README проекта # (в PyPI пакета skillspector нет, pip/pipx install skillspector не сработает) И дальше просто:skillspector scan --format terminal Что умеет:на вход - git-URL, zip, директория или одиночный SKILL. md;64+ паттерна в 16+ категориях (в новых релизах уже 68/17): инъекции, эксфильтрация, тайпсквоттинг, MCP tool poisoning и пр. ;два этапа: быстрая статика (regex/AST/YARA/OSV.

dev), а поверх - опциональный LLM-анализ для оценки намерения;на выходе - risk_score 0-100, вердикт SAFE / CAUTION / DO_NOT_INSTALL и отчёт в terminal / json / markdown / sarif. А сам-то сканер не словит инъекцию? И вот тут у меня прокрались сомнения как раз таки, ведь в чем суть, сам сканер работает не просто проверяя по ключевым словам (но да, это конечно тоже) но и проверяет же также через llm, то первое о чем я задумался: если внутри скилла лежит злая инструкция, а SkillSpector скармливает его LLM - не уговорит ли скилл сканер сказать "всё чисто"?

Короткий ответ - “нет”, и вот почемуСтатика идёт первой и она детерминированная.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.