Въведение в бавно променящите се размери (SCD)

Измерението е структура, която категоризира колекция от информация, така че да могат да се получат смислени отговори на въпроси относно тази информация. Измеренията в управлението на данни и хранилищата на данни съдържат относително статични данни; обаче тези размерни данни могат да се променят бавно с течение на времето и на непредвидими интервали. Тези типове данни за измерения са известни като бавно променящи се размери (SCD).

В среда на хранилище за данни таблицата с измерения има първичен ключ, който уникално идентифицира всеки запис и други части от информация, които са известни като данни за измерения. Първичният ключ ще се свърже с таблица с факти, използвайки този ключ. Ето защо е важно да има модел за актуализиране и обработка на текущите данни и историческите данни. Има признати модели, които са известни по своите типове:

• Тип 1 – Този модел включва презаписване на старата текуща стойност с новата текуща стойност. Не се поддържа история.
• Тип 2 – Текущите и историческите записи се съхраняват и поддържат в един и същ файл или таблица.
• Тип 3 – Текущите данни и историческите данни се съхраняват в един и същ запис. Потребителят решава колко история да се съхранява в записа.
• Тип 4 – В този модел текущите данни се поддържат в две различни таблици; един за текущите данни и един, който съдържа всички исторически данни.
• Тип 6 – Този модел е хибрид от Тип 1, Тип 2 и Тип 3.

Всички методи за актуализиране за различните модели SCD могат да бъдат извършени с помощта на програмата SortCL в IRI CoSort или IRI Voracity. Voracity вече предоставя и един съветник за създаване на работа от край до край за автоматично изграждане на тези програми; виж отдолу. Повечето типове използват пълно външно свързване, за да съпоставят записи от основния източник на данни със записи в източника за актуализиране въз основа на приравняване на уникален ключ от всеки. Записите със съвпадения трябва да се актуализират в главния. Записите в източника на актуализация, които нямат съвпадение, трябва да бъдат добавени към главния.

Моите статии за различните типове SCD показват изходните или входните данни във файлове и показват скриптовете на SortCL, които се използват за актуализиране на главните файлове. Таблиците също могат да бъдат източник с тези скриптове.

Във всеки пример описвам стъпките за актуализиране на източник на измерения, който поддържа разходите за продукти, които се променят на неравномерни интервали. Ключовото поле или колона е ProductCode. Всички основни файлове на източника ще съдържат следните данни:

Източникът master1.dat съдържа:

Всички данни за актуализиране ще имат една и съща начална дата. Източникът на актуализация съдържа следните данни:

Отчитането на SCD също се обсъжда на уеб сайта на IRI тук. Вижте тези статии, специфични за SCD: Тип 1, Тип 2, Тип 3, Тип 4 и Тип 6.

Нов графичен съветник за SCD

Потребителите на Voracity вече могат също да използват специално създаден съветник за създаване на работни места, за да докладват за типове SCD 1, 2, 3, 4 и 6 в графичния интерфейс на IRI Workbench, изграден на Eclipse. Помощникът също така поддържа интегрирането на сортиране, оценка на изрази, агрегиране, ново форматиране, криптиране и други.

След като настроите заданието и изберете типа SCD в съветника, вие посочвате основните данни и информацията за актуализиране. След това задавате съпоставянията за целта, като поставяте полетата в съответствие със съвпадащите изходни полета и като използвате комбинираните полета, ако е необходимо, работите с текущи и исторически набори от полета. След присъединяване към посочената информация на страницата Източници на присъединяване, подходящият скрипт се създава и е готов за диаграмиране, изпълнение, модифициране или споделяне.

Статиите, свързани с горните типове, ще бъдат актуализирани, за да отразяват как новият съветник за SCD в Voracity може автоматично да създаде тези работни места вместо вас.