Актуализация:Q2’16 :В допълнение към съветника за профилиране на база данни в групата меню за откриване на данни в IRI Workbench, описана по-долу, IRI въведе стабилна класификация на данни която позволява прилагането на полеви правила за преобразуване на данни от множество източници и защита чрез библиотеки с класове данни. Актуализация Q2’18 :IRI също така въведе съветник за търсене на шаблони в цялата схема, за да намери PII, съответстващи на RegEx или стойности на литерали в множество таблици наведнъж. Актуализация Q2’19 :IRI вече предоставя и търсене в класове данни между/вътре в схемата и маскиране за потребители IRI FieldShield или Voracity. И IRI току-що публикува тази статия, за да покаже как резултатите от профилирането на DB се показват в Splunk.
С повече данни, които се събират от повече аспекти на бизнеса днес, лесното осъзнаване на тяхното съдържание и естество е от жизненоважно значение за гарантиране на качеството, количеството и сигурността на тези колекции. Профилирането на данни е основният процес на откриване, който ви помага да анализирате, класифицирате, почиствате, интегрирате, маскирате и отчитате данните във вашите хранилища.
В допълнение към съветниците за откриване на тъмни и структурирани данни (и дефиниране на метаданни), заедно с E-R диаграмата между DB в Eclipse, новият инструмент за профилиране на кръстосани DB в IRI Workbench позволява на потребителите да изследват структурата и пълнотата на данните от базата данни и да потвърдят, че правилните данни се съхраняват на правилните места. В тази статия ще разгледаме този инструмент и ще покажем как предоставя резултати от търсенето със стойности на таблица и статистически метаданни.
За да осъществите достъп до Database Profiler, отидете до таблицата, до която искате да получите достъп, в Data Source Explorer. Щракнете с десния бутон върху таблицата и задръжте мишката върху опцията IRI. В менюто, което се показва, изберете Нов профил на база данни .
На първата страница на съветника задайте местоположението и местоназначението на заданието и изберете изхода от отчета на профила като .csv или .txt файл, или и двете.
- форматът .csv е полезен за импортиране в нови таблици и бази данни, докато
- Форматът .txt е предварително форматиран отчет, полезен за бърз преглед на резултатите.
Статистическа информация за профилиране
Следващата част от съветника ще се появи с две таблици:
- Горната таблица е списък с всички таблици в базата данни, като таблицата, която стартира съветника, е маркирана по подразбиране.
- Това квадратче за отметка ви позволява опция с едно щракване да сканирате всяка таблица и ред във вашата база данни.
- Долната таблица показва опциите за профилиране, последвана от колоните на маркираната таблица, в която избирате да изпълните опциите.
Щракнете върху която и да е таблица в списъка, който искате да видите, и профил. Матрицата с опции ще се промени автоматично, за да представлява колоните на избраната таблица. Има няколко начина за справяне с опциите за преглед:
- За всички опции щракнете върху квадратчето за отметка в горната част на таблицата с етикет Всички и всички метаданни ще бъдат отчетени.
- Само за основни опции (броене и стойности) поставете отметка в квадратчето с етикет Основни.
- Само за опции за дължина (дължини на стойността), поставете отметка в квадратчето с надпис Дължини.
Ако имате много колони в таблицата си и искате да изберете една и съща опция за всички тях, щракнете върху самото име на опцията и тази опция ще бъде избрана във всички колони. Можете да премахнете избора на колони в рамките на опцията.
След като всичко е настроено, щракнете върху Край и след това профилът ще бъде генериран за вас.
Търсене на изрази
Уникален избор в таблицата с опции е -Търсене на изрази-. Тази опция ви позволява да търсите в колони с различни опции за търсене. Тези опции са:
- Регулярни изрази (търсене на шаблон). Това намира и отчита колко пъти дадена стойност съвпада с формата на шаблон за търсене.
- Размит низ. Тази опция ви позволява да търсите низове, подобни на въведените от вас, и да изберете или укажете условия за търсене.
- Файл със стойности. Тази опция ви позволява да сравните низ с всеки низ във файл с набор и да преброите всеки низ, който има съвпадение.
Страницата за търсене на изрази има 6 важни секции
- Комбинирано поле Тип търсене, за да изберете типа търсене, което да извършите.
- Групата с опции, която се променя в зависимост от избрания тип търсене
- Регулярен израз:има два бутона; browse, който преглежда съществуващите регулярни изрази, и Create..., което позволява създаването на нови регулярни изрази.
- Размит низ:има поле за броене, което определя прага на размито търсене (колко близки трябва да бъдат низовете, за да се считат за съвпадение), и комбинирано поле за избор на алгоритъма за размито търсене, който да се използва.
- Файл със стойности:има бутон Преглед..., който ви позволява да търсите зададения файл, който да използвате за търсене на стойност.
- Текстово поле, в което ще въведете данните за вашето търсене.
- Падащ списък с таблиците, към които можете да приложите търсенето по изрази.
- Падащ списък с колоните, към които можете да приложите търсенето по изрази.
- Таблица, която изброява създадените от вас търсения, които ще бъдат извършени от инструмента за профилиране.
За да създадете филтър за регулярен израз:
- От комбинацията Тип търсене изберете Регулярен израз .
- Щракнете върху Преглед до (вашата библиотека със запазени изрази) или кликнете върху Създаване за да посочите регулярен израз, който да използвате при търсене на стойности на колони.
- В менюто Таблица изберете таблицата, която съдържа колоната за филтриране.
- В менюто Колона изберете колоната, към която трябва да се приложи регулярният израз.
- Щракнете върху Добавяне към таблицата и в таблицата по-долу ще се появи елемент, който съдържа името на файла, името на колоната, източника на търсене, прага и етикета на регулярен израз, които съставляват филтъра.
- Повторете този процес за всяка колона, към която искате да добавите филтър. Ако имате твърде много колони, за да направите този процес практичен, все пак можете да сканирате автоматично множество колони и таблици – за данни, съответстващи на модела(ите) ви в цялата схема на базата данни – като използвате този съветник вместо това.
За да създадете размито търсене на низ:
- От комбинацията Тип търсене изберете Размит низ .
- Въведете низа, който да използвате за търсене.
- Изберете броя на резултатите за връщане (тази опция ще се появи, когато е избрано Fuzzy Search).
- Изберете размития тип търсене, който да използвате (тази опция ще се появи, когато е избран размит низ).
- В менюто Таблица изберете файла, който съдържа колоната за размито търсене.
- В менюто Колона изберете колоната, към която трябва да се извърши размитото търсене.
- Щракнете върху Добавяне към таблицата и в таблицата по-долу ще се появи елемент, който съдържа името на файла, името на колоната, източника на търсене, прага и типа на търсене на размитото търсене, което трябва да се извърши.
- Повторете този процес за всяка колона, в която искате да извършите търсене на размит низ.
За да създадете търсене на файл със стойности:
- От комбото Тип търсене изберете Файл със стойности .
- Щракнете върху Преглед за да изберете наборен файл, срещу който колоната ще бъде проверена.
- В менюто Таблица изберете таблицата, която съдържа колоната за филтриране.
- В менюто Колона изберете колоната, към която да се приложи регулярният израз.
- Щракнете върху Добавяне към таблицата и в таблицата по-долу ще се появи елемент, който съдържа името на файла, името на колоната, източника на търсене, прага и етикета за търсене на списъка със стойности, които съставляват филтъра.
Проверка на референтната цялост
Друг избор в таблицата с опции е -Проверка на референтната цялост-. Тези опции позволяват на профайлъра да сравнява една или повече колони с друга колона и да определи дали колоните имат референтна цялост. За да използвате тази функция, поставете отметка -Проверете целостта на препратките- в колоните, за да сравните за целостта на препратката. Бутонът „Напред“ ще се активира и ще ви позволи да посочите параметрите за проверката на референтната цялост (вижте по-долу за подробности).
Ако сте избрали опцията Проверка на референтната цялост за някоя от колоните си, щракнете върху Напред за да отидете на страницата Проверка на референтната цялост. Тази страница има следните функции:
- Две комбинирани полета, едното за избор на таблицата, в което се намира първичният ключ, а другото за определяне на колоната с първичен ключ.
- Две комбинирани полета, едното за избор на таблицата, в което се намира външният ключ, а другото за определяне на колоната за външен ключ. Има и бутон за добавяне на външния ключ към списък с външни ключове за сравнение с първичния ключ.
- Бутон Създаване на проверка на целостта, за да добавите основната и чуждата колона към списъка по-долу.
- Списък, който съхранява всички проверки на референтната цялост, които ще бъдат извършени от профайлъра.
За да създадете проверка на референтната цялост:
- В комбинираното поле на таблицата под колона за първичен ключ изберете таблицата, в която се намира първичният ключ.
- В комбинираното поле на колоната под Колона първичен ключ изберете първичния ключ.
- В комбинираното поле на таблицата под колона „Външен ключ“ изберете таблицата, в която се намира външният ключ.
- В комбинираното поле на колоната под колона за чужд ключ изберете външния ключ.
- Щракнете върху бутона Добавяне към списъка с чужди ключове...
- Повторете стъпки 3-5 за всеки външен ключ, който трябва да бъде проверен спрямо първичния ключ
- Щракнете върху бутона Създаване на проверка на целостта...
- Повторете горните процеси за всяка проверка на референтната цялост, която да извършите.
Изходни данни за примерни профили
.csv, показан в LibreOffice / .txt, показан в EditPad Lite
