Имената на софтуерните продукти на IRI и начина, по който работят, понякога са били източник на мистерия или дори объркване за непосветените. Тази статия описва частите и изяснява тяхното взаимодействие, осигурявайки бърза подготовка за бъдещи потребители, партньори и анализ на новата индустрия бр.
Откъде започна всичко
Започна с IRI CoSort през 1978 г., помощната програма за сортиране, трансформиране и отчитане на големи данни за Unix и Windows, която все още се използва широко и днес. Преди CoSort този първи IRI продукт се наричаше CO-SORT, COSORT и CoSORT в този ред.
През 1992 г. IRI добави синтаксиса и програма за манипулиране на данните за езика за контрол на сортирането (SortCL) към другите помощни програми и API в пакета CoSort. Днес SortCL е най-широко използваният и пълен с функции потребителски интерфейс в пакета CoSort.
Скриптовете на SortCL дефинират и програмата sortcl изпълнява заданията, които изпълняват и комбинират много общи задачи за движение на данни и картографиране, които потребителите на CoSort трябва да изпълняват. SortCL е не само прост 4GL за учене, четене и модифициране, но също така се поддържа чрез API (наречен sortcl_routine) и графично в безплатната IRI Workbench IDE, изградена на Eclipse.
С разширяването на функционалността на SortCL тя надрасна традиционния пазар на CoSort за миграции на сортиране и BI/DW ускорение. Днес изпълнимият файл SortCL е не само двигателят, който изпълнява повечето задачи на CoSort, но е и биещото сърце на няколко допълнителни продукти, илюстрирани тук:
Спин-оф продукти на CoSort / SortCL
По-конкретно, същата машина на SortCL и съвместими скриптове за работа – обикновено проектирани и често управлявани от IRI Workbench, обработват структурирани източници на данни в:
- IRI FieldShield и IRI DarkShield за маскиране на данни
- IRI RowGen за синтез на тестови данни и поднабор на база данни
- IRI NextForm за преобразуване и репликация на данни и база данни и,
- Задачи на платформата за управление на данни IRI Voracity, които включват тези в CoSort и продуктите, свързани по-горе, плюс допълнителни възможности за преден край чрез общия графичен интерфейс на Workbench, като:
- Откриване на данни (профилиране, класификация и търсене)
- Склад за данни ETL, CDC и SDC
- Миграция на Data Vault 2.0 и създаване на прототипи
- Качество на данните (валидиране, почистване, хомогенизиране)
- Аналитика или спорове за данни за Splunk и KNIME и други BI инструменти чрез предаване
Друг начин да погледнете йерархията на продуктите е по следния начин:
където Workbench IDE е мястото, където са проектирани всички работни места за продукти на IRI — включително тези допълнителни функции, поддържани в Voracity.
Често задаван въпрос
Тъй като SortCL стартира с CoSort и е общ за всички тези продукти, означава ли това, че мога да използвам CoSort или друг продукт по-горе, за да правя това, което правят и другите продукти?
Отговорът е да и не. Да, имате SortCL и на теория можете да свършите част от същата работа, която друг съвместим със SortCL IRI продукт е предназначен да извърши. Но би било по-трудно и представлява производствен риск. IRI предоставя само документация и поддръжка за задачите, най-добре свързани с вашия лицензиран(и) продукт(и) на IRI.
Следователно възможностите за кросоувър са ограничени на практика. Независимо от това, комбинираната функционалност е често срещана в много случаи (като сортирано подмножество на DB), а в Voracity случаите на използване с много задачи и няколко стъпки (като инкрементално картографиране, маскиране, почистване и преформатиране) са високо ефективни и напълно поддържани.
SortCL е машината по подразбиране във всички IRI Voracity CDC, ETL, CDC, почистване, съгласуване, поднастройка ,
Задачи за маскиране на PII, синтез на тестови данни, преобразуване, преформатиране, спорове, анализиране и отчитане.
Архитектура по време на изпълнение
След като вече знаете имената на продуктите, нека покрием как те са взаимосвързани и се разгръщат.
IRI софтуерът обикновено работи в модел клиент/сървър, където съвместимите със SortCL задания се дефинират в среда за редактиране от преден край като IRI Workbench или друг текстов редактор, или чрез IRI API. Тези работни места обикновено се изпълняват в софтуерната програма SortCL на Linux, Unix или Windows (физически или виртуални) машини, на място или в облака:
Някои задания, скриптирани в синтаксиса на SortCL, могат също да се изпълняват без промяна директно в Map Reduce 2, Spark, Spark Stream, Story или Tez за лицензополучатели на изданието Voracity Grid (VGrid) за Hadoop.
Имайте предвид обаче, че за разлика от много други програми за ETL и маскиране на данни, няма CoSort сървър, където SortCL трябва да се изпълнява или да се управлява централизирано. Лекият изпълним файл SortCL може да работи навсякъде от Raspberry Pi до z/Linux мейнфрейм.
Следователно според диаграмата по-горе е обичайно сайтовете да имат инсталирани тестови и QA SortCL екземпляри на лаптопи за разработчици, работещи с IRI Workbench, както и на централизирани сървъри на файлове или бази данни, за да оптимизират производителността. Този често задаван въпрос обхваща въпроса къде да се лицензира SortCL в контекста на продуктите за маскиране на данни на IRI, например, и как да се вземат предвид съответните разходи.
Ако имате въпроси относно кой продукт на IRI се нуждаете или как най-добре да го внедрите на хардуера, който имате (или планирате да предоставите), моля, свържете се с вашия представител на IRI.
