Как переработать архитектуру хранилища и мигрировать часть нагрузки в Data Lakehouse

Значимый прорыв формирует отрасль ИИ: EreminMaxim 1 минуту назад Как переработать архитектуру хранилища и мигрировать часть нагрузки в Data Lakehouse Простой 8 мин 13 Блог компании Cloud. ru Облачные сервисы * Хранение данных * Мнение Привет! Я Максим Еремин, больше восьми лет занимаюсь облачными сервисами и работаю в Cloud.

ru — отвечаю за Evolution Managed ArenadataDB. Сегодня хочу поговорить вот о чем. У корпоративных хранилищ есть одна особенность: чем дольше они живут, тем больше задач на них пытаются навесить.

Технические детали

Сначала туда попадают предсказуемые вещи: CRM, ERP и внутренняя отчетность. Но потом добавляются документы, записи разговоров, данные для ML, генеративный ИИ и еще десяток сценариев, о которых никто не думал, когда проектировал DWH 10 лет назад. И в какой-то из четвергов становится понятно, что проблема не в самом хранилище (оно-то по-прежнему работает), а в том, что бизнес уже давно ушел вперед.

При этом просто взять и заменить DWH на что-то махом не вариант. За годы вокруг него успевают вырасти витрины, ETL-процессы, отчеты и десятки интеграций. Чем дольше живет корпоративное хранилище, тем страшнее в него вмешиваться.

Поэтому команда пытается ответить сразу на два вопроса: на что переехать и что оставить в DWH? Ответ у них общий: гибридная архитектура, где корпоративное хранилище продолжает выполнять свои задачи, а часть данных и нагрузок постепенно переезжает в Data Lakehouse. Вот про это и расскажу.

Отраслевые последствия

Почему DWH становится малоПервая причина: появляются данные, для которых DWH не проектировалось. Классическое DWH изначально создавалось для работы со структурированными данными. Пока речь идет о таблицах из CRM, ERP, бухгалтерских и других внутренних систем, оно чувствует себя вполне комфортно.

Но потом бизнес приходит с очередной идеей. Например, начинает хранить записи разговоров кол-центра, работать с PDF-документами, изображениями или строить RAG-системы. Да, все это можно положить в DWH.

Вопрос только в том, зачем. И чем больше таких сценариев появляется, тем сильнее становится ощущение, что корпоративное хранилище постепенно превращается в склад всего подряд. Но есть и вторая причина: не все данные должны храниться одинаково.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.