Про 11 типичных ошибок при проектировании интеграции с помощью Kafka на примерах

В сфере искусственного интеллекта произошло заметное событие. На связи Антон Воробьёв — архитектор в Альфа-Банке. Некоторое время назад у нас появился нативный порт C-клиента librdkafka, который сделали наши коллеги из компании BTC. Чтобы порт работал быстрее, мы допортировали последнюю на тот момент версию librdkafka 2.

3, разобрались с оптимизациями под нашу специфичную ОС, починили все юнит-автотесты в её составе, сделали свои, и внедрили в июне 2024 года. На сегодня порт отправляет ежедневно 100 миллионов сообщений в 50+ топиков и суммарно в сотни партиций, примерный объём — 200 ГБ в неделю. Плотно поработав с Apache Kafka мы собрали список типичных ошибок, которые появляются во время проектирования и разработки продюсеров и консьюмеров.

Технические детали

Эти ошибки не зависят от используемой платформы, могут встретиться где угодно и могут быть совершены любым участником, как со стороны процесса приёма, так и передачи. Если вы уже давно работаете с Apache Kafka, то много нового для себя не узнаете. Но если вы не так давно начали изучать Apache Kafka и столкнулись с неправильным использованием ключа партицирования, сайзингом топика, с ошибками в параметрах топика, с нарушением идемпотентности и т.

, то статья сэкономит вам время и силы.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.