Как мы строили свою базу данных о киберугрозах для LLM-агентов и SOC

Значимый прорыв формирует отрасль ИИ: cheebo 13 минут назад Как мы строили свою базу данных о киберугрозах для LLM-агентов и SOC Простой 11 мин 520 Искусственный интеллект Информационная безопасность * Базы данных * Кейс ВведениеСначала задача звучала просто: складывать PDF, CVE и статьи по кибербезопасности в одну базу, затем давать LLM-агенту подходящие фрагменты через HTTP API. На доске это помещалось в одну цепочку: загрузка, извлечение текста, разбиение на части, построение векторов, поиск. Рабочий прототип появился быстро.

Настоящая работа началась потом. Первая полная загрузка показала, что данные об угрозах (Threat Intelligence (TI)) плохо укладываются в модель “обычный поиск по документам, только про безопасность”. Здесь мало найти похожий абзац.

Технические детали

Нужно знать, откуда он взялся, когда был опубликован, насколько надежен источник, какие индикаторы компрометации (IOC) встретились в тексте и не устарели ли они. А еще система должна “прожевать” кривой RSS, большой PDF, падение процесса и повторный запуск без тысячи копий одной статьи. Расскажу, как мы прошли путь от локального прототипа с поиском по документам до сервиса с комбинированным поиском, управляемыми источниками, STIX/TAXII и проверенным восстановлением из резервной копии.

Пока ещё у сервиса нет веб-интерфейса, Celery и отдельной графовой БД. Почему обычного векторного поиска для TI оказалось малоГлавная особенность TI-базы в том, что ценность документа зависит от времени и происхождения. Статья об атаке, опубликованная вчера, обычно полезнее пересказа двухлетней давности.

Но справочное описание старой CVE не становится бесполезным только из-за возраста. С источниками то же самое. Бюллетень производителя, запись из RSS-агрегатора и случайное сообщение в канале нельзя считать равноценными, даже если в них совпадают слова.

Отраслевые последствия

Точное упоминание CVE-2026-1234 или домена часто важнее общей похожести текстов. Представьте два абзаца. В первом много слов про уязвимости VPN, во втором всего одна строка с нужным номером CVE и адресом вредоносного сервера.

Обычный смысловой поиск может предпочесть первый. Аналитику почти наверняка нужен второй. Поэтому мы сразу зафиксировали четыре требования:Делить текст по границам разделов, а не механически через каждые N токенов.

Извлекать CVE, IP, домены, URL, хэши, техники MITRE ATT&CK, семейства вредоносного ПО и инструменты. Учитывать свежесть по-разному для новостей, кампаний и справочных материалов. Возвращать подтверждающие материалы: текст, источник, URL, дату и понятное объяснение оценки.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.