OceanBase как БД для Zabbix + онлайн-миграция с PostgreSQL через Flink CDC. Экономия места в 15–18 раз

Значимый прорыв формирует отрасль ИИ: hardpoint 7 минут назад OceanBase как БД для Zabbix + онлайн-миграция с PostgreSQL через Flink CDC. Экономия места в 15–18 раз Средний 12 мин 161 Системное администрирование * Кейс Немного предысторииЕщё в 2022 году внедрялся Zabbix у заказчика, нужен он был для мониторинга нескольких MSSQL-серверов и был установлен на MySQL; с тех пор подключали к нему новые хосты, и начал он потихоньку умирать — всё-таки MySQL не для больших объёмов. Проблема миграции стала острой, а я как раз OceanBase последнее время занимаюсь очень активно.

Мне не удалось сразу уговорить заказчика на миграцию основного Zabbix на OceanBase, но была предложена миграция девелоперского Zabbix, который всё равно надо было переносить в целевой сегмент сети, и по результатам этой миграции уже будет принято решение о возможности миграции основного Zabbix, который на MySQL сейчас. Естественно, я согласился, хотя девелоперский Zabbix был на PG, но этот кейс даже более интересный. Мне будет очень интересно услышать отзывы или советы перед миграцией прома.

Технические детали

Не расплываясь в этой статье про преимущества OceanBase, выделю только главное для Zabbix: — Встроенное сжатие, дающее даже без колоночного формата 3–5-кратную экономию места по сравнению с PostgreSQL. — Колоночное хранение с LSM-деревьями, благодаря которым не снижается скорость записи. — Поддержка MySQL-синтаксиса.

— Настоящий enterprise HA без дополнительных компонентов. — Multitenant-архитектура полезна на будущее, когда на одном кластере надо разграничить ресурсы на несколько проектов. — И всё это уже в опенсорс CE-версии.

Вот главный плюс — размер топ-5 таблиц в PostgreSQL и OceanBase:SQL-запросы и вывод: размер топ-5 таблиц (PostgreSQL и OceanBase)PostgreSQLzabbix=# SELECT table_name, (xpath('/row/count/text()', xml_count))::text::bigint AS row_count, pg_size_pretty(pg_total_relation_size(quote_ident(table_name))) AS total_size FROM ( SELECT table_name, query_to_xml(format('SELECT count(*) AS count FROM %I', table_name), false, true, ' AS xml_count FROM information_schema. tables WHERE table_schema = 'public AS counts ORDER BY row_count DESC LIMIT 5; table_name │ row_count │ total_size --------------+-----------+------------ history │ 14093149 │ 2102 MB history_uint │ 10940927 │ 1373 MB trends │ 2730276 │ 355 MB trends_uint │ 2614163 │ 331 MB event_tag │ 68147 │ 6872 kB (5 rows) OceanBase 07:44:48> SELECT t. table_name, COALESCE(s.

Отраслевые последствия

row_count, 0) AS row_count, CONCAT(ROUND(s. data_size / 1024 / 1024, 2), ' MB AS total_size FROM information_schema. tables AS t LEFT JOIN ( SELECT table_name, SUM(data_length + index_length) AS data_size, SUM(table_rows) AS row_count FROM information_schema.

tables WHERE table_schema = DATABASE() GROUP BY table_name ) AS s ON s. table_schema = DATABASE() ORDER BY row_count DESC LIMIT 5; +--------------+-----------+------------+ │ table_name │ row_count │ total_size │ +--------------+-----------+------------+ │ history │ 15049414 │ 100.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.