False positive под небом цвета телевизора, настроенного на мертвый канал

В сфере искусственного интеллекта произошло заметное событие. psycho_drake 9 минут назад False positive под небом цвета телевизора, настроенного на мертвый канал Средний 14 мин 245 Блог компании Ростелеком Информационная безопасность * Искусственный интеллект Кейс LLM-триаж SAST, который не стыдно пустить в pipeline AppSec-инженер перед терминалами ночью В «Ростелекоме», как в любом крупном корпоративном контуре, SAST-поток исчисляется тысячами срабатываний. Ручной триаж перестает быть инженерной работой и становится конвейером. Привет Хабр, меня зовут Юрий Туманов, я AppSec-инженер в блоке ИБ «Ростелекома».

Хочу рассказать о том, как я выполнял инференс на локальных моделях, в полной цифровой изоляции от внешнего мира. Все числа получены на конкретном корпусе, модели и наборе промптов; внутренний контур, названия систем, пути и значения секретов обезличены. Это не бенчмарк «LLM против SAST», а отчет о том, где локальная модель реально помогает, а где честно отдает работу человеку.

Технические детали

Ночью SAST выглядит особенно убедительно. Терминал светит холодным фосфором, отчет шуршит тысячами findings, а где-то в CI/CD опять родился JSON — почти валидный, если прищуриться и не трогать пробелы. Проблема старая: статический анализ выявляет подозрительные места быстрее человека, но вместе с полезными находками приносит мешки false positive.

AppSec-инженер превращается в сортировщика тревог, а безопасность начинает все больше напоминать склад с неразобранными коробками. Теперь — про наш эксперимент по LLM-триажу SAST-срабатываний на локальной модели, вдохновленный идеями ZeroFalse. Мы проверяли более узкую вещь: можно ли передать локальной модели часть SAST-срабатываний и принимать её ответ только там, где он опирается на проверяемые признаки: CWE, trace, source, sink, sanitizer, контекст кода, история решений — и строгий JSON на выходе.

Стенд был вполне земной: vLLM, Qwen2. 5-Coder-14B в AWQ-квантизации, RTX 4080 с 16 ГБ VRAM и закрытый контур, ручная разметка и много неприятных мест, где модель уверенно хотела быть умнее процесса. Ее пришлось посадить в клетку.

Отраслевые последствия

Клетка называется evidence package. Вот как примерно выглядит то, с чем приходится работать. Обезличенная карточка одного finding:finding_id: ****** rule: Hardcoded Credentials (secret-scan) cwe: CWE-798 severity: High status: To Verify path: src/main/**/AppConfig.

java : 42 match: private static final String TOKEN = "****************" trace: source —> assignment —> (sink not in payload) env_label: UNKNOWNНичего секретного тут нет, и в этом половина проблемы. Сканер увидел присваивание строки переменной с именем TOKEN и поднял тревогу. Реальный это ключ или плейсхолдер из шаблона — по одной строке не скажешь, а таких строк тысячи.

Город ложных тревогГород CWE-небоскрёбов под дождём из JSON SAST похож на нервного сторожа в старом дата-центре. Он слышит каждый шорох, видит каждую тень и иногда принимает кофейный автомат за нарушителя периметра. Но это не делает его бесполезным.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.