Как использовать Kafka на собеседовании по System Design

Вот важная новость с фронта ИИ: pavsenin 10 минут назад Как использовать Kafka на собеседовании по System Design Простой 17 мин 241 Анализ и проектирование систем * Распределённые системы * Высоконагруженные системы * Карьера в IT-индустрии Перевод Автор оригинала: Evan King Данная статья не является всеобъемлющим разбором Kafka. Она рассматривает базовые концепции и предназначена для читателя, который готовится к интервью по System Design и хочет освежить свои знания. Видеоверсию этой статьи на русском языке можно посмотреть здесь - наверняка слышали о Kafka - это популярная распределенная платформа потоковой обработки событий с открытым исходным кодом.

Согласно сайту проекта, ей доверяют около 80% компаний из списка Fortune 100. Если Kafka подходит крупным компаниям, значит, она вполне подойдет и на интервью по System Design. Kafka обеспечивает высокую производительность, масштабируемость и надежность.

Технические детали

Она способна обрабатывать огромные объемы данных в режиме реального времени и при корректной настройке надежно хранить сообщения. В данной статье мы последовательно изучим Kafka: начнем с общего обзора и постепенно углубимся в детали архитектуры и внутренней реализации. Практический пример: мотивация к изучению KafkaПредставьте себе чемпионат мира по футболу.

Предположим, у вас есть веб-сайт, который предоставляет статистику матчей в реальном времени. Каждый раз, когда забивается гол, игрок получает предупреждение или производится замена, вам нужно обновить сайт. Заведем сервер с очередью и будем отправлять в нее сообщения по мере поступления событий.

Сервер или процесс, ответственный за отправку событий в очередь, называется производителем (producer). Далее у нас есть сервер, который считывает события из очереди и обновляет сайт. Этот сервер называют потребителем (consumer).

Отраслевые последствия

Простой примерТеперь представьте, что чемпионат расширился до гипотетического турнира с участием тысяч команд, причем матчи проходят одновременно. Количество событий значительно увеличится, и ваш одиночный сервер, обслуживающий очередь, начнет испытывать трудности с обработкой этой нагрузки. Аналогично потребителю становится сложно справиться с таким объемом входящих данных.

Чтобы масштабировать эту систему, нам необходимо добавить больше серверов для распределения очереди. Но как убедиться, что события будут обрабатываться в правильном порядке? Два сервераПростое случайное распределение событий по серверам приведет к хаосу: голы будут фиксироваться раньше начала матча, игроки получат предупреждения за нарушения, которых еще не совершали.

Решение в том, чтобы распределять события на основе игры, которой они соответствуют. Таким образом, все события одной игры будут упорядочены, поскольку находятся в одной очереди. Это одна из ключевых идей Kafka: если связанным сообщениям нужен общий порядок, для них нужно продуманно выбирать ключ и раздел.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.