Как мы собрали систему сетевого мониторинга безопасности для ISP: Zeek, Suricata, OpenSearch и ClickHouse

Вот важная новость с фронта ИИ: Мы построили собственную систему мониторинга сетевой безопасности для интернет-провайдера. Она в реальном времени анализирует трафик, помогает видеть атаки на публичные подсети, находит SSH-брутфорс, сканирование портов, попытки эксплуатации уязвимостей, подозрительную активность и автоматически блокирует наиболее агрессивные IP на пограничном маршрутизаторе Cisco.

За сутки система видит около 13 млн соединений от примерно 170 тыс. Только попыток SSH-брутфорса может быть порядка 144 тыс.

Технические детали

В этой статье я расскажу не только о том, из каких компонентов состоит система, но и о том, почему мы пришли именно к такой архитектуре. Будут Zeek, Suricata, Vector, Redis, OpenSearch, ClickHouse, Python-детекторы, Telegram-алерты, Cisco ACL и несколько неприятных граблей, на которые мы наступили по дороге.

Статья будет полезна тем, кто хочет построить NSM/SOC-систему своими руками и не покупать коммерческий SIEM за космические деньги.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.