2000+ развертываний в день: как мы строили DevOps-конвейер для 300 микросервисов и куда идем дальше

Значимый прорыв формирует отрасль ИИ: diasoft 10 минут назад 2000+ развертываний в день: как мы строили DevOps-конвейер для 300 микросервисов и куда идем дальше 8 мин 291 Блог компании Диасофт Высоконагруженные системы * DevOps * Когда у вас более 100 команд, более 200 активных проектов и более 300 разрабатываемых приложений, ручной CI/CD умирает быстро и некрасиво. Мы в Диасофт несколько лет назад начали строить Digital Q. DevOps — внутренний конвейер сборки, тестирования, доставки и развёртывания, — и сейчас через него проходит больше 2000 развёртываний в сутки.

На прошлой неделе мы собрали внутренний митап с разработчиками, тестировщиками и DevOps-инженерами, чтобы честно разобрать, что в продукте получилось, что до сих пор болит, и куда мы движемся. В разборе мы говорили об архитектуре, использовании Helmchart, а также о том, почему мы до сих пор не можем единообразно выпускать релизы, и у нас в репозитории для клиентов хранится всего 10 последних образов микросервиса (и почему это проблема). Зачем понадобился свой конвейерКогда число коммитов в день — тысячи, строить папйплайны вручную ежедневно в таком объеме становится невозможным.

Технические детали

Остаётся либо хаос, либо унификация. Мы выбрали второе и для этого ввели несколько базовых сущностей, на которых всё держится:ИТ-компонент — атомарная единица инфраструктуры: кластер Kubernetes, сервер приложений, СУБД, брокер сообщений. Описывается один раз, с типом и набором атрибутов «из коробки» (для Kubernetes, Kafka, БД и так далее), а дальше переиспользуется без повторного конфигурирования.

Инсталляция — конкретный экземпляр продуктовой конфигурации, развёрнутый на определённом наборе ИТ-компонентов. Стенд — логическое объединение нескольких инсталляций в рабочий контур: разработка, автотестирование, демо, препрод, прод и так далее. Поставка — объект, который реально устанавливается на стенд: набор конфигурационных элементов нужной версии с учётом зависимостей между ними.

CMDB — модуле управления конфигурациями, который как раз отвечает за то, чтобы DevOps-инженеру не нужно было каждый раз вручную прописывать, куда какой сервис ставить и с какими параметрами. Сами по себе эти сущности — способ типизировать инфраструктуру. Ценности здесь пока нет.

Отраслевые последствия

Ценность появляется тогда, когда накатывается автоматический pipeline: команда один раз описала стенд и инсталляцию, а дальше при каждом коммите конвейер сам находит нужную конфигурацию, разворачивает изменения и прогоняет тесты — без ручного указания путей, параметров и связей. Вот что это даёт в цифрах. Что получилось автоматизироватьЦифры, с которых мы начали этот разбор, и с которых обычно начинаются все презентации (больше 2000 развёртываний в день, нагрузка от 100+ команд в 200+ проектах, 300+ активно разрабатываемых приложений) неплохо описывают масштаб задачи.

Механика конвейера на каждый коммит выглядит так:Сборка — компиляция штатным компилятором языка, упаковка в архив или Docker-образ.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.