Нагрузочное тестирование без нагрузки и тестов: используем k6 для мониторинга API

Вот важная новость с фронта ИИ: Drybalka 30 минут назад Нагрузочное тестирование без нагрузки и тестов: используем k6 для мониторинга API Средний 14 мин 836 Блог компании Mindbox Высоконагруженные системы * Системное администрирование * Обзор API Mindbox обрабатывает тысячи запросов в секунду, а мы публично гарантируем клиентам бесперебойный круглосуточный сервис. Чтобы выполнять свои обязательства, нам нужен непрерывный поток телеметрии, близкий к тому, что создают клиенты: со всеми деградациями, ошибками и распределением летенси. На связи Дмитрий Рыбалка, SRE‑инженер Mindbox.

В этой статье расскажу, как и почему мы используем k6, чтобы мониторить наш API. k6 aka агент мониторинга: плотный поток телеметрииДля внешнего мониторинга нашей сетевой инфраструктуры мы используем Blackbox Exporter. В целом со своими задачами он справляется: простой, понятный и покрывает большинство сценариев.

Технические детали

Однако у него есть ограничение: новое значение метрики появляется только при запросе со стороны Prometheus, и обычно это происходит не чаще, чем раз в 15 секунд. При такой частоте запрос может отправиться в момент, когда простаивает CPU или когда очередь обработки на сервере пустая: деградация производительности уже произошла, и мониторинг ничего не зафиксировал. Чтобы снизить дискретность, нам нужно отправлять от 2 до 5 запросов в секунду.

Но если в Prometheus уменьшать интервал, нагрузка сразу же начинает неоправданно расти. Так что мы решили искать инструмент, который не увеличивал бы нагрузку и позволял бы отслеживать кратковременные всплески задержки, анализировать «хвосты» распределения и детализировать фазы сетевого запроса. Неожиданно оказалось, что этим требованиям отвечает k6, известный как инструмент для нагрузочного тестирования.

Несмотря на это амплуа, мы попробовали использовать его как управляемого агента для мониторинга нашего API. В итоге обнаружили ряд преимуществ в сравнении с обычными инструментами мониторинга. k6 позволяет:Гибко задавать плотность измерений, не дожидаясь планового scrape.

Отраслевые последствия

Запускать одновременную проверку нескольких endpoint. Изолировать друг от друга уже установленные и новые соединения. Отслеживать не только общую duration, но и отдельные этапы: DNS, connect, TLS, waiting.

Преобразовывать сетевые ошибки в отдельные, легко анализируемые метрики. Выполнять проверки из разных локаций, чтобы оценить поведение сервиса в зависимости от site и region. Стоит оговориться, что k6 не заменяет Blackbox Exporter и другие внешние системы мониторинга.

Он более глубоко и детализированно мониторит API, что позволяет быстрее обнаруживать деградацию производительности и точно определять участок пути, на котором она возникает.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.