Data Mesh: что это и почему концепция не подходит большинству компаний в России

Значимый прорыв формирует отрасль ИИ: qlever 26 минут назад Data Mesh: что это и почему концепция не подходит большинству компаний в России Средний 12 мин 764 Хранение данных * Big Data * Data Engineering * Анализ и проектирование систем * Объем и разнообразие корпоративных данных значительно возрастает с каждым годом. Вместе с этим появляются новые требования к их хранению, обработке и использованию. Развиваются различные подходы к архитектуре и управлению данными:Data Warehouse (DWH) для централизованной аналитики Data Lake для хранения больших объемов разнородной информации Data Lakehouse как объединение преимущества обоих подходов Data Fabric для интеграции распределенных источников данных Data Mesh — концепция, предлагающая передать ответственность за данные непосредственно бизнес-доменам Вокруг Data Mesh в последние годы возникло особенно много обсуждений.

Концепцию называют следующим этапом развития корпоративных платформ данных, способным заменить традиционные хранилища и устранить ограничения централизованных команд аналитики. Но действительно ли Data Mesh подходит большинству компаний? В этой статье разберем, как устроен Data Mesh, какие требования подход предъявляет к бизнесу и почему большинству российских компаний сегодня зачастую важнее построить зрелое DWH, чем пытаться перейти к распределенной архитектуре данных.

Технические детали

Что такое Data Mesh и почему о нем так много говорятData Mesh — это подход к управлению данными, при котором ответственность за сбор, хранение, качество и предоставление данных переходит от централизованной data-команды разным бизнес-подразделениям (доменам) компании. В классической централизованной модели управления данными все запросы на данные проходят через единую data-команду или ИТ-подразделение. В результате возникают типичные ограничения:очереди на разработкуперегруженные ETL-процессымедленное внедрение новых инструментов и методологийотсутствие ответственности бизнеса за качество данныхзависимость аналитики от узкого круга специалистовData Mesh предлагает изменить организационную модель работы с данными.

Data MeshВ основе Data Mesh лежат следующие сущности:Дата-домен — бизнес-область или подразделение (маркетинг, продажи, производство, логистика, финансы), которое не просто генерирует данные, а полноценно владеет ими как продуктом: отвечает за их смысл, структуру, качество, SLA и развитие. Дата-домен несет ответственность перед другими подразделениями как перед потребителями данных. Дата-продукт — это оформленный, готовый к использованию набор данных (или поток данных), имеющий назначение, владельца, описание, контракт потребления, метрики качества и гарантии доступности.

Дата-продукт - данные, представленные как сервис для других команд.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.