Как мы ускорили реакцию autoscaling с четырёх минут до сорока секунд

Вот важная новость с фронта ИИ: Reller 16 минут назад Как мы ускорили реакцию autoscaling с четырёх минут до сорока секунд Средний 14 мин 397 Amazon Web Services * DevOps * Кейс ВводныеПубличный API уже обслуживал обычный поток запросов. Впереди было окно с дополнительным внешним трафиком для партнёрского запуска, промо или подключения нового канала. В таких событиях порядок нагрузки примерно понятен, но точная форма волны заранее не гарантирована.

Ожидание было простым. Обычный дневной трафик за несколько минут вырастает примерно до 150 HTTP RPS, то есть до 150 HTTP-запросов в секунду. Это не бесконечная нагрузка и не хаос, но рост достаточно быстрый, чтобы обычная логика “посмотрим на минутную метрику и потом добавим инстансы” могла опоздать.

Технические детали

Нас интересовал не рекордный максимум RPS. Вопрос был практический. Успеет ли инфраструктура добавить инстансы до того, как пользователи начнут видеть рост latency (среднее время отклика).

Если новые инстансы появляются только после медленных ответов, autoscaling формально работает, но для такого launch window всё равно опаздывает. Платформу перед событием перестраивать не хотелось. Сервис уже жил в стандартной AWS-схеме.

Публичный API работает в Elastic Beanstalk, перед ним стоит Application Load Balancer, количество инстансов регулирует Auto Scaling Group, CloudWatch alarms запускают политики scale-up и scale-down, а warm pool держит заранее подготовленные инстансы, чтобы scale-out не ждал полного cold boot. Ожидаемая цепочка выглядела просто. Запросов становится больше.

Отраслевые последствия

Метрика показывает, что на один бэкенд приходится слишком много запросов. CloudWatch видит несколько точек выше threshold и запускает scale-up policy. Auto Scaling Group добавляет инстансы из warm pool.

Балансировщик распределяет трафик шире. p95 latency, то есть время отклика, в которое укладываются 95% запросов, остаётся в нормальной зоне. В реальном тесте сломалась не вся схема, а один участок.

Warm pool был быстрым. Инстансы включались в работу. Но решение “пора добавлять” приходило слишком поздно.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.