ClickHouse: разбираем Dictionaries

В сфере искусственного интеллекта произошло заметное событие. ivannatarov 55 минут назад ClickHouse: разбираем Dictionaries Простой 11 мин 1. 6K Базы данных * Data Engineering * FAQ Привет, Хабр! В этой статье разберём ещё один инструмент ClickHouse, который часто используется при обогащении данных и позволяет значительно ускорить выполнение тяжелых SQL-запросов с джоинами.

DictionaryВ любой аналитической системе мы постоянно сталкиваемся с одной и той же задачей: у нас есть огромная таблица с «фактами» (события, клики, продажи) и несколько таблиц-«справочников» (пользователи, товары, территории и т. Чтобы построить осмысленный отчёт, нам нужно объединить эти таблицы. В традиционных базах данных для этого используется JOIN.

Технические детали

Однако в ClickHouse, который создан для молниеносной обработки миллиардов строк, JOIN с внешней таблицей может стать узким местом. Каждый раз при выполнении такого запроса ClickHouse вынужден заново сопоставлять данные, что требует времени и ресурсов, особенно при высокой нагрузке. Но как тогда обогащать гигантские таблицы данными из справочников, не жертвуя скоростью?

Для этого можно использовать словари (Dictionary). Словарь (Dictionary) — это специальный объект в ClickHouse, который загружает справочные данные (из таблицы, файла или другого источника) в оперативную память сервера в виде эффективной структуры «ключ-значение». Это позволяет выполнять обогащение данных на лету с минимальными задержками, практически мгновенно.

Ключевые особенности словарей: Данные находятся в оперативной памяти, что делает доступ к ним чрезвычайно быстрым. После создания словаря его можно использовать в запросах с помощью специальных функций, таких как dictGet (о ней чуть ниже). источником данных для словаря может быть таблица ClickHouse, удалённая база данных (например, PostgreSQL, MySQL), HTTP-ресурс или даже локальный файл.

Отраслевые последствия

Для создания словаря используется следующий синтаксис (в упрощённом виде):CREATE DICTIONARY database_name. dictionary_name ( -- Описание структуры: ключи и атрибуты key_column_name_1 data_type_1, key_column_name_2 data_type_2, ... attribute_column_name_1 data_type_3, attribute_column_name_2 data_type_4, ...

) -- Обязательные секции PRIMARY KEY key_column_name_1, key_column_name_2 SOURCE(... ) -- Необязательные секции COMMENT 'Комментарий к словарю'Подробно разберём каждый из параметров. 1 СтруктураВ ней мы описываем столбцы, которые будут содержаться в словаре.

Они делятся на ключи (по которым будет осуществляться поиск) и атрибуты (значения, которые мы хотим получить). Для каждого столбца необходимо определить тип данных, но важно учитывать, что словари не поддерживают LowCardinality ни для ключей, ни для атрибутов. Если наши данные хранятся в этом формате, необходимо будет определить иной тип данных, например LowCardinality(String) → String.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.