Теория и практика DWH: что такое согласованные факты и измерения по Кимбаллу и зачем они нужны

Значимый прорыв формирует отрасль ИИ: Malakhova-Natalya 20 минут назад Теория и практика DWH: что такое согласованные факты и измерения по Кимбаллу и зачем они нужны Простой 4 мин 548 Big Data * Data Engineering * Анализ и проектирование систем * Хранение данных * ОглавлениеКто такой Кимбалл и каков его подходФакты и измеренияСогласованные фактыЛирическое отступлениеСогласованные измеренияSVOT, или single version of truthКто такой Кимбалл и каков его подходДля начала познакомимся с автором методологии, о которой пойдёт речь. Ральф КимбаллРальф Кимбалл - автор методологии размерного моделирования (dimensional modeling). Его методология, ориентированная на удобство бизнес‑аналитики, стала одним из наиболее известных подходов к проектированию хранилищ данных.

Основной его труд – это книга «The Data Warehouse Toolkit». И вот эта же книга в переводе:основной труд Кимбалла в оригинале и в переводеЗдесь и далее, говоря «Кимбалл», буду иметь ввиду его подход, изложенный в этих книгах. Факты и измеренияТаблицы в размерном моделировании глобально делятся на 2 типа: факты и измерения.

Технические детали

Вот как можно кратко их охарактеризовать:параметрфактыизмерениясуть данных:бизнес-событияописательный контекстформат:числатекстописание:глаголы действий«кто, что, где, когда, почему и как», окружающие событиев SQL-запросе:то, что агрегируемто, по чему фильтруем и группируемтаблицы:узкие и длинныеширокие и короткиеnull:оставляемзаменяем описательной строкой (например, ‘undefined’)Что же такое такое согласованные факты и измерения? Давайте разберёмся по-порядку. Согласованные фактыцитаты из книги Кимбалла в русском переводеСогласованные факты - это когда одни и те же бизнес-события - в разных местах - имеют: одинаковое наименование одинаковое определение Например, в магазине выручка не называлась бы:revenue, sales, rev, sales_amount, rub_amount, а везде называлась бы одним способом, например, revenue.

В онлайн-кинотеатре это могло бы быть одинаковое определение, например, времени смотрения. Вместо разных:watched_time, play_duration_sec, wt, для одинакового факта было бы одно название. А если в двух витринах расчёт факта/определение факта отличается, то и названия должны быть разными.

Например: watched_time watched_time_without_pauseЛирическое отступлениеПрежде чем перейти к согласованным измерениям, позволю себе небольшое лирическое отступление. Один из важных принципов по Кимбаллу можно сформулировать так:цитаты из книги Кимбалла в русском переводеИ особенно важны для хранилища - измерения:цитаты из книги Кимбалла в русском переводеСогласованные измеренияИтак, особенно важной частью своего подхода Кимбалл считает согласованные измерения.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.