StarRocks вместо Oracle на смешанной аналитической нагрузке. Проверяем на практике

В сфере искусственного интеллекта произошло заметное событие. denis__pashkov 10 часов назад StarRocks вместо Oracle на смешанной аналитической нагрузке. Проверяем на практике Уровень сложности Средний Время на прочтение 13 мин Охват и читатели 7. 7K Блог компании Data Sapience Блог компании GlowByte Big Data * Высоконагруженные системы * Базы данных * Обзор Привет, Хабр!

Меня зовут Денис Пашков, я – ведущий архитектор данных в группе компаний GlowByte. В этой публикации я бы хотел поделиться опытом работы с MPP-решением StarRocks, набирающим популярность на российском рынке. Все, кто интересуется данной темой, уже, наверное, не сомневаются, что StarRocks очень хорошо себя показывает в аналитической нагрузке.

Технические детали

Мои коллеги из Data Sapience регулярно делятся результатами нагрузочных испытаний платформы данных Data Ocean Nova (ознакомиться можно: 1 , 2 и 3 ). Сегодня же речь пойдет о неочевидном сценарии использования – OLTP-нагрузке. Сразу оговорюсь, что под OLTP тут будет пониматься не классическая транзакционная нагрузка в десятки тысяч TPS, характерная для операционных систем, а субсекундный отклик на чтение и, что важно, на запись по ключу в условиях смешанной аналитической работы.

Ведь именно это и декларирует StarRocks: Deliver sub-second latency at scale with an engine purpose-built for modern CPUs and complex SQL. Предыстория У одного из наших клиентов эксплуатируется система на базе СУБД Oracle. Характер нагрузки предполагает OLAP от ELT-процессов, транзакционную нагрузку от аналитических приложений и вдобавок доступ к подготовленным данным (отчетам).

Все то, за что мы так любим Oracle, – один калибр на все случаи жизни! Но, к сожалению, у текущего решения есть две большие проблемы: Система немасштабируемая; Необходимо провести импортозамещение. Очевидным, казалось бы, решением является гетерогенная система.

Отраслевые последствия

Например, связка Greenplum + Postgres + опционально ClickHouse, которая обычно предлагается на российском рынке. Вариант рабочий, но есть очевидные минусы: Минусы Влияние Дублирование данных по разным СУБД Повышение стоимости владения, дополнительные решения по синхронизации ключей, дублирование логики и т. Синхронизация данных между СУБД Снижение SLA за счет доставки (задержка данных) и тиражирования данных, увеличение накладных расходов Различные диалекты SQL Повышение требований к команде, адаптация приложений для работы с каждой СУБД Усложнение архитектуры Несколько команд администрирования, три вида оборудования и, как следствие, очень высокая стоимость владения Нам с заказчиком хотелось оставаться в парадигме одной универсальной платформы, но с возможностями масштабирования.

Так и начиналась история проверки StarRocks для такой боевой и нетривиальной задачи. Критерии успеха были следующие: Конкурентная обработка десятков Read/Write SQL-запросов OLAP-профиля; Конкурентная обработка сотен Read/Write SQL-запросов OLTP-профиля с откликом менее 1 с; Конкурентная обработка запросов смешанного профиля нагрузки (OLAP+OLTP) c откликом менее 1 с.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.