Миллион контейнеров и быстрый откат релиза: эволюция деплоя в RTC

Вот важная новость с фронта ИИ: amich 28 минут назад Миллион контейнеров и быстрый откат релиза: эволюция деплоя в RTC 9 мин 983 Блог компании Yandex Cloud & Yandex Infrastructure Блог компании Яндекс DevOps * IT-инфраструктура * Системное администрирование * Если проблему на проде видят пользователи — значит, вы уже теряете деньги или репутацию. Поэтому откатываться нужно быстро, а на наших масштабах — очень быстро: в RuntimeCloud, внутреннем облаке Яндекса, работает миллион контейнеров на ста с лишним тысячах серверов. Во времена tar-архивов откатывались со скоростью переключения symlink.

В современном мире деплой умеет то, что раньше и не снилось, — он научился изоляции, декларативности и воспроизводимости. Только про быстрый откат многие забыли. Меня зовут Андрей Мичурин, я руковожу разработкой систем деплоя Yandex Infrastructure.

Технические детали

RuntimeCloud (RTC) отвечает за выкладки, управление трафиком, изоляцию, платформизацию. Под нашим управлением находится 1 млн контейнеров, более 100 тысяч серверов и 8 млн ядер. В этой статье расскажу, почему для современного деплоя очень важно уметь быстро делать откат, какие решения мы рассматривали и как сделали своё.

Эта статья написана по мотивам моего доклада на infra. Если вам больше нравится слушать, а не читать — вот видео доклада. Эволюция деплоя Итак, откатываться нужно очень быстро.

Чтобы объяснить, почему скорость отката стала критичной, посмотрим на историю развития деплоя. На заре деплоя не было никаких чётких правил, автоматизации и контроля: каждый делал, как хотел и когда хотел. Программа жила на физическом носителе.

Отраслевые последствия

Собрал бинарь на одной машине — запустил на другой, в соседний город носитель отправил обычной почтой. Единого репозитория и стандартной сборки не существовало: что инженер принёс, то и попало на сервер. Если инженер был хорошим, он запускал файл каким-то watchdog — программой, которая перезапускает процесс, если он упал.

Если не очень хорошим, он его запускал в домашке (home directory) — личной папке пользователя на сервере. Там процесс мог случайно упасть, после чего его никто не найдёт, и он не будет автоматически перезапущен. Позднее стали выкатывать бинари по сети.

Например, в случаях, когда бинарь уже не запускается на том компьютере, на котором он собирался. Либо, например, этот компьютер не справляется с нагрузкой и нужен кластер. Если очень сильно повезло — компьютер большой, памяти много и предыдущий бинарь сохранился, — то на него можно откатиться.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.