Эволюция Kafka as a Service: от факапа до чилаута

В сфере искусственного интеллекта произошло заметное событие. anastasia_tsepeleva 1 минуту назад Эволюция Kafka as a Service: от факапа до чилаута Средний 9 мин 5 Блог компании РСХБ. Цифра (Россельхозбанк) IT-инфраструктура * Git * DevOps * Управление разработкой * Кейс Привет, Хабр! Я Анастасия, ведущий SRE-инженер РСХБ.

В этой статье я расскажу о том, как мы в App. Farm, PaaS-платформе Россельхозбанка, перешли от одной «большой» Kafka до реализации услуги «Kafka as a Service» c индивидуальными кластерами под ключ. Поделюсь первой частью нашей истории (во второй будет про ошибки): Почему мы отказались от одной «большой» Kafka и как этим минимизировали затраты на сопровождениеКак через декларативный GitOps-подход автоматизировали развертывание кластеров Kafka в KubernetesКак настроили пресеты настроек кластеров под запросы пользователей PaaS-платформыКак упростили авторизацию с помощью middleware, «влезая» в протокол обменаМы постарались сделать Kafka удобной платформенной услугой: разработчик описывает потребность, щепотка магии CI/CD, и через несколько минут получается готовый к использованию кластер с топиками, доступами и понятным статусом в UI.

Технические детали

Звучит просто, но за этим кроется сложный путь проб и ошибок. О платформеДавайте добавим контекста. Farm - PaaS-решение для разработки и развёртывания программных продуктов, которое обеспечивает весь интеграционный поток и среду для исполнений информационных систем Россельхозбанка.

Если кратко:5500 разработчиков используют нашу платформуБолее 1 млн пользователей взаимодействуют с сервисами платформы каждый день2300+ развернутых бизнес-приложенийЧерез платформу проходит более 1 ТБ данных и 15 млн сообщений в день Платформа полностью построена на Open-Source-продуктах (Kubernetes, Istio и другие), принципах и методологиях GitOps и IaC. Подробнее про платформу можно почитать в статье «Как мы создавали PaaS-платформу App. Farm – цифровое сердце РСХБ».

Где и как наша Kafka живёт сейчасКластеры Kafka располагаются внутри платформы App. Farm, а для их развертывания, автоматизации и управления используется Strimzi. Плюсом это решение мы присыпали россыпью платформенных операторов Kubernetes, в том числе и самописных.

Отраслевые последствия

Kafka в этой картине – это предоставляемая услуга. На момент написания статьи этой услугой пользуются 20+ бизнес-систем банка. В промышленном окружении работает 24 Kafka-кластера, а суммарно по всем другим окружениям – 120+ кластеров.

Отдельный плюс такого решения: есть возможность одновременно поддерживать версии Kafka от 2. Вишенка на торте: всё это сопровождает команда всего из 3 человек. Причём эти 3 человека занимаются не только Kafka, но и поддерживают работоспособность платформы и других интеграционных компонентов.

При подсчете трудозатрат в месяц на обслуживание кластеров уходят минимальные человеко-ресурсы. Взгляд со стороны пользователяКак для сопровождения платформы для нас разработчики бизнесовых микросервисов являются пользователями платформы.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.