Tarantool DataBase и Kafka: событийная архитектура без лишних слоев

Вот важная новость с фронта ИИ: JCode_TV 44 минуты назад Tarantool DataBase и Kafka: событийная архитектура без лишних слоев 9 мин 1. 5K Блог компании VK Tech Блог компании VK Базы данных * Tarantool * Хранение данных * Туториал Привет, Хабр. Меня зовут Сергей Фомин.

Я старший менеджер продукта Tarantool DataBase. При разработке разрозненных систем крайне важно обеспечить быструю и надежную синхронизацию данных между их компонентами. К решению этой задачи подходят по-разному.

Технические детали

Например, можно делать это вручную через отдельный интеграционный слой, который будет отслеживать изменения в базе, преобразовывать форматы, обеспечивать доставку событий, обрабатывать сбои и настраивать мониторинг. Но это сопряжено с высокими затратами на разработку, увеличивает риски ошибок, усложняет эксплуатацию и замедляет запуск новых функций. Поэтому намного рациональнее решать эту задачу так называемым продуктовым способом.

В статье на примере Tarantool DataBase и механизма Tarantool CDC разберем, что это значит и как можно построить событийный обмен данными через Kafka без лишней боли. Интеграция с Kafka через Tarantool CDC доступна как штатный бесплатный механизм. Сложности взаимодействия разрозненных сервисов и варианты решенияTarantool DataBase — это платформа, которая объединяет в себе сервер приложений и СУБД.

Ее ключевое преимущество — работа с данными в оперативной памяти (in-memory), что обеспечивает очень низкие задержки и высокую пропускную способность. Благодаря этому Tarantool отлично подходит для задач, где важна скорость отклика: это могут быть кэш-витрины для быстрого доступа к данным, профили клиентов, которые должны формироваться в реальном времени, или сервисы для антифрода и маркетинговых предложений. Однако в реальной архитектуре одной базы данных, даже самой быстрой, недостаточно — как правило, современные ИТ-ландшафты состоят из множества компонентов, и данные должны постоянно перемещаться между ними.

Отраслевые последствия

Причем зачастую потоки информации идут в разных направлениях — например, из мастер-систем в Tarantool, из Tarantool во внешние сервисы, из Kafka в базу и обратно, а также между различными системами в режиме реального времени. При этом обмен должен быть практически мгновенным. Если пользователь обновил свой профиль или совершил транзакцию, это событие должно почти сразу отразиться в других системах: попасть в аналитику, активировать сценарий в DWH или запустить персонализированное предложение.

Организовать такой обмен можно двумя основными способами:с помощью самописных сервисов;с помощью готовых решений. Самостоятельная реализацияПодход подразумевает, что для каждой задачи пишется отдельный сервис, который отслеживает изменения в базе данных, преобразовывает их в нужный формат (например, JSON), отправляет их во внешнюю систему (например, в Kafka) и обрабатывает возможные сбои. На практике это сопряжено с целым рядом сложностей:Написание такого сервиса требует времени.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.