Как я перестал гадать, какая пара нод сломалась после апдейта CNI, и написал для этого свой мониторинг

В сфере искусственного интеллекта произошло заметное событие. esdmitrii 12 минут назад Как я перестал гадать, какая пара нод сломалась после апдейта CNI, и написал для этого свой мониторинг Средний 16 мин 310 DevOps * Сетевые технологии * Софт Кейс Из песочницы БольЕсли вы держите on‑prem кластер на десятки или сотни нод, дальше можно не объяснять. Обновили CNI, или ядро, или драйвер сетевой карты, или просто переехали частью нод в новый сегмент. Проходит какое‑то время, и начинают капать тикеты: «у нас иногда таймаутит между подами», «DNS иногда не резолвится», «health‑check то падает, то нет».

Ключевое слово тут «иногда». Проблема не глобальная, не про 100% трафика. Ломается конкретная пара нод или конкретный протокол, и ломается ровно так, чтобы спрятаться за агрегатом.

Технические детали

98% успешных проверок выглядят прекрасно. Ровно до той секунды, когда доходит: недостающие 2% это одна пара, один протокол, и так изо дня в день. Привычный инструментарий в этот момент почти бесполезен:kubectl exec плюс ping или curl руками.

Отлично, а какую пару проверять? Их сотни, и вы не знаете, какая именно сломалась. Node exporter и типовые дашборды покажут CPU, память и диск конкретной ноды.

Про то, что нода A не достучалась до ноды B по UDP, там нет ни слова. Если повезёт, найдётся что‑то релевантное. Постфактум и далеко не по каждой паре.

Отраслевые последствия

Хотелось получить инструмент, который постоянно и во всех направлениях гоняет между нодами живые пробы, а при сбое сразу говорит: вот пара, вот протокол, вот хоп. Что уже есть: GoldpingerПервое, что приходит в голову, это Goldpinger. Инструмент взрослый и обкатанный: DaemonSet, опрашивает своих собратьев по HTTP, отдаёт метрики и рисует граф связности в собственном web UI.

Ставится за минуту и честно отвечает на вопрос, видит ли нода X ноду Y. Если у вас его нет, начните с него. Порог входа копеечный, польза сразу.

Но деградация бывает не бинарной, а частичной, да ещё и завязанной на конкретный протокол, и вот тут его модели перестаёт хватать. Основной меш между пирами у него HTTP, per‑peer ICMP и реактивного per‑hop трейсинга нет. А мне нужны были все пять протоколов отдельными проверками между каждой парой, плюс автоматический MTR прямо в момент сбоя.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.