Прод лёг вместе с WAF: как я поднимал портал за четыре часа

Вот важная новость с фронта ИИ: kovalchuk_agima 18 минут назад Объяснить с Прод лёг вместе с WAF: как я поднимал портал за четыре часа Простой 6 мин 669 Блог компании AGIMA Системное администрирование * Восстановление данных * Хранение данных * IT-инфраструктура * Кейс Привет! Я Паша Ковальчук, системный администратор AGIMA. Воскресенье, 11 октября.

Я просыпаюсь в четыре утра от того, что у меня разрывается телефон. Коллеги сообщают: прод лёг. Уже тогда я понял, что ночь будет веселой.

Технические детали

К восьми утра портал снова работал — прод на двух ядрах вместо восьми и за фильтром, который я собрал на ходу. Ниже — как это было по шагам, где мы чуть не встряли и что я советую сделать заранее всем, чтобы облегчить себе жизнь. ИнфраструктураРечь пойдёт о крупном портале, который мы сопровождаем.

Около 1,5 млн запросов в сутки, операционная система — Astra Linux, хостинг — Yandex Cloud. Яндекс выбрали по понятной причине: сертифицированная площадка, которая проходит по требованиям крупных заказчиков. Для больших компаний и госсектора на рынке долго действовало простое и устоявшееся правило: не знаешь, где развернуться, — разворачивайся в Яндексе.

Схема у нас была такая. Трафик шёл через Smart Web Security — WAF Яндекса — затем Traffic Inspector Next Generation и дальше на сервер. DNS-записи тоже были в Яндексе.

Отраслевые последствия

Бэкапы — 14 штук разной глубины — тоже хранились в Яндексе. В начале октября Yandex Cloud начал терять дата-центры. 8 октября остановилась площадка в Сасово, а вместе с ней зона ru-central1-b.

Наш прод жил в другой зоне и продолжал работать. За два дня до: полезная паранойяПосле Сасово у меня включилась паранойя. Я участвовал в нашем проекте с самого начала, многие архитектурные решения принимал сам и хорошо понимал: если умрёт нода с продом, у нас не останется ничего — ни прода, ни бэкапов.

Написал коллегам: нужна рабочая копия прода вне Яндекса, и нужна сейчас. Тут начались первые сюрпризы. Скачать бэкап или образ диска напрямую не получилось — готовой кнопки для этого мы не нашли.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.