Как Reddit без потерь перенес петабайтную Kafka с EC2 на Kubernetes

Вот важная новость с фронта ИИ: kubelet 3 минуты назад Как Reddit без потерь перенес петабайтную Kafka с EC2 на Kubernetes Средний 7 мин 19 Блог компании Флант DevOps * Kubernetes * Open source * IT-инфраструктура * Кейс Перевод Автор оригинала: ByteByteGo Это перевод статьи из блога ByteByteGo, в которой собрана основная информация о крупном изменении инфраструктуры в Reddit — переносе Apache Kafka с Amazon на Kubernetes. Команда инженеров Reddit провела одну из самых масштабных миграций инфраструктуры за всю историю компании. Весь парк Apache Kafka, насчитывающий более 500 брокеров и свыше петабайта «живых» данных, переехал с виртуальных машин Amazon EC2 на платформу Kubernetes.

Миграция прошла без простоя, при этом не пришлось менять настройки подключения к Kafka на стороне клиентов. В этой статье мы разберём, как проходила миграция, с какими вызовами столкнулись инженеры и как им в итоге удалось успешно завершить переезд. Дисклеймер: вся информация в посте взята из открытых источников, которыми поделились сами инженеры Reddit.

Технические детали

Если увидите где-то ошибку — пишите в комментарии. Какую роль Kafka играет в RedditЧтобы было понятнее, о чём речь, давайте для начала разберёмся, что такое Apache Kafka. Apache Kafka — Open Source-платформа для стриминга сообщений.

Одни приложения («продюсеры», producers) пишут сообщения в разделы Kafka («партиции»), а другие («консьюмеры», consumers) их оттуда читают. Kafka находится посередине и отвечает за надёжное хранение этих сообщений, даже если продюсер и консьюмер работают в совершенно разное время. Один сервер Kafka — это брокер; несколько брокеров, работающих вместе, — это кластер.

Apache Kafka в инфраструктуре Reddit — это не просто какой-то вспомогательный инструмент. Это фундамент для сотен критически важных сервисов, которые обрабатывают десятки миллионов сообщений в секунду. В случае сбоя Kafka значительная часть Reddit перестанет работать.

Отраслевые последствия

Почему Reddit решил отказаться от EC2До миграции Reddit управлял брокерами Kafka на инстансах Amazon EC2 с помощью связки из Terraform, Puppet и кастомных скриптов. Инженеры выполняли апгрейды, вносили изменения в конфигурацию и заменяли машины, запуская команды со своих ноутбуков. До поры до времени это работало.

Но с ростом числа машин процесс становился всё медленнее, дороже и рискованнее. Требовался более масштабируемый и надёжный способ управлять Kafka. Решением стал Kubernetes в связке с инструментом под названием Strimzi.

Kubernetes — это платформа с открытым исходным кодом для запуска контейнеризированных приложений и управления ими. Вместо того чтобы вручную заказывать и поддерживать каждый сервер, разработчики просто описывают, что должно работать, а Kubernetes сам занимается развёртыванием, масштабированием и восстановлением после сбоев. Strimzi — проект Cloud Native Computing Foundation, который как раз и позволяет запускать Kafka на Kubernetes.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.