Концепции
Какво е оперативна база данни на Cloudera (COD)?
Оперативната база данни е релационна и нерелационна база данни, изградена на Apache HBase и е проектирана да поддържа OLTP приложения, които използват големи данни.
Оперативната база данни в Cloudera Data Platform има следните компоненти:
- Apache Phoenix предоставя релационен модел, улесняващ масивна мащабируемост. Той използва мащабируемостта и устойчивостта на Apache HBase.
- Apache HBase предоставя нерелационен модел, предназначен за масивна мащабируемост, така че можете да съхранявате неограничени количества данни в една платформа и да се справяте с нарастващите изисквания за обслужване на данни.
- Apache ZooKeeper предоставя услуга за разпределено конфигуриране, услуга за синхронизиране и регистър за имена.
- Apache Knox Gateway осигурява сигурност на периметъра, така че предприятието може уверено да разшири достъпа до нови потребители.
- Apache HDFS се използва за записване на Apache HBase WAL (и HBase HFiles в някои случаи).
- Обектните магазини като Amazon S3 и Microsoft ADLS Gen2 се използват за съхраняване на Apache HBase HFiles.
- Shared Data Experience (SDX) се използва за сигурност и възможности за управление. Политиките за сигурност и управление се задават веднъж и се прилагат към всички данни и работни натоварвания. Точно като самия CDP, SDX е изграден върху общностни проекти с отворен код, като Apache Ranger и Apache Atlas заемат гордо място.
Atlas предоставя възможности за управление и управление на отворени метаданни за изграждане на каталог на всички активи, както и за класифициране и управление на тези активи. Слоят SDX на CDP използва пълния спектър на Atlas за автоматично проследяване и контрол на всички активи с данни.
Ranger осигурява управление на ключовете за сигурност с отделно влизане за администратори на ключове, използващи услугата Ranger KMS. Apache Ranger също така предоставя много необходими функции за сигурност като маскиране на колони и филтриране на редове извън кутията. Друг важен фактор е, че правилата за достъп в Ranger могат да бъдат персонализирани с динамичен контекст, като се използват различни атрибути като „географски регион“ или „време на деня“.
- IDBroker е REST API, изграден като част от услугите за удостоверяване на Apache Knox. Той позволява на удостоверен и оторизиран потребител да обменя набор от идентификационни данни или токен за токени за достъп на доставчици в облак.
Услуга за оперативна база данни на CDP
Оперативна база данни CDP (COD) е оперативна база данни с автоматично мащабиране в реално време, захранвана от Apache HBase и Apache Phoenix. Това е услуга за данни, която работи на Cloudera Data Platform (CDP). Можете да получите достъп до COD директно от вашата CDP конзола. COD ви позволява да създадете нова оперативна база данни с едно щракване и автоматично мащабиране въз основа на вашето работно натоварване.
Следните са основните стъпки, за да започнете с COD:
- Създайте база данни в среда с едно щракване и базата данни трябва да бъде готова и достъпна в рамките на няколко минути.
- Настройте паролата си за работно натоварване. За повече информация щракнете тук.
- Изтеглете и инсталирайте Apache Maven, Java, Python 3.8.
- Инсталирайте CDP Client на вашата машина. За повече информация щракнете тук.
- Следвайте инструкциите в хранилището с примери, за да направите промени във вашите maven settings-security.xml, settings.xml и pom.xml.
- Създайте и стартирайте приложенията.
Apache HBase
HBase е колонно-ориентирана архитектура за съхранение на данни, която е формирана върху HDFS, за да преодолее нейните ограничения. Той използва основните функции на HDFS и го надгражда, за да осигури мащабируемост, като обработва голям обем от заявките за четене и запис в реално време. Въпреки че архитектурата HBase е NoSQL база данни, тя улеснява процеса на поддържане на данни, като ги разпределя равномерно в клъстера. Това прави достъпа и промяната на данни в модела на данни HBase бърз. Научете повече за Apache HBase.
Apache Phoenix
Apache Phoenix е RDBMS и ANSI SQL интерфейс. Apache Phoenix прилага оптимизации на най-добрите практики, за да даде възможност на софтуерните инженери да разработват приложения, управлявани от данни от следващо поколение, базирани на HBase. С помощта на Phoenix можете да създавате и взаимодействате с таблици под формата на типични DDL/DML изрази, като използвате стандартния JDBC API, ODBC и Phoenix DB API.
Phoenix предоставя:
- Поддръжка на SQL и JDBC API
- Поддръжка за късно обвързване, схема при четене
- Достъп до данни, съхранявани и произведени в други компоненти, като Apache Spark и Apache Hive
Научете повече за Apache Phoenix.
Процедура
Как да създадем оперативна база данни
Можете да създадете оперативна база данни във вашата регистрирана среда, като използвате CDP Operational Database (COD).
Предварителни условия
- Трябва да сте влезли в COD средата като ODA администратор.
- Уверете се, че сте упълномощени да създавате база данни.
Стъпки
- Влезте в уеб интерфейса на CDP. Например CDP конзола.
- Изберете Оперативна база данни.
- В уеб интерфейса на COD щракнете върху Създаване на база данни.
- Изберете средата от списъка, в която искате да имате базата данни.
- Посочете име за базата данни в полето Име на базата данни.
- Щракнете върху Създаване на база данни.
Резултат
Показва се информационна страница, която показва състоянието на базата данни. Вашата нова база данни е готова за използване, след като състоянието й стане Налично.
Демо
Как да управлявам връзка с база данни
След като създадете оперативна база данни и тя е налична, можете да управлявате връзките към базата данни.
Предварителни условия
- Уверете се, че базата данни е актуална и налична.
- Упълномощени сте да правите промени в базата данни.
Стъпки
- В уеб интерфейса на COD изберете базата данни, за която искате да управлявате връзките.
- Под Connect влезте във всеки раздел и променете параметрите.
Препратки
- Документация на Cloudera за създаване на база данни за COD
- Оперативна база данни в CDP
Ако се интересувате да изпробвате CDP Public Cloud и оперативната база данни, изпробвайте нашия Тестово шофиране .
