Тази публикация в блога е част от поредица за оперативната база данни (OpDB) на Cloudera в CDP. Всяка публикация включва повече подробности за новите функции и възможности. Започнете от началото на поредицата с Оперативна база данни в CDP.
OpDB на Cloudera предоставя богат набор от възможности за съхранение и достъп до данни. В тази публикация в блога ще разгледаме възможностите за достъпност на OpDB и как можете да използвате тези възможности за достъп до вашите данни.
Разпространение и разделяне
Оперативната база данни на Cloudera (OpDB) е мащабирана система за управление на бази данни (DBMS), която е проектирана да мащабира линейно до петабайта данни. Както всички СУБД, мащабирането се осъществява чрез разделяне. Поддържат се две различни политики за разделяне:
- Автоматично разделяне
- Предварително дефинирано разделяне
Независимо от подхода, има API за разрешаване на разделяне въз основа на хеш, диапазон от стойности и комбинация от двете.
Автоматично споделяне
Когато автоматичното разделяне е активирано, таблиците се разпределят динамично в клъстера и когато размерът на фрагмента надвиши конфигурируемото ограничение, той автоматично се разделя и премества между сървъри в клъстер.
Сегментът на таблицата се разделя на две при средния ключ, създавайки две приблизително равни половини и тези две половини могат да се обслужват от различни сървъри.
Автоматизираното разделяне се прилага независимо от мрежата, която се използва с OpDB (WAN или локална). Клъстерите могат да бъдат настроени така, че да обхващат WAN, в който случай разделянето и движението на данни ще се случи през WAN с нулева загуба на данни.
Системата може да бъде конфигурирана така, че да знае кои възли в кои центрове за данни се намират, което осигурява допълнителна устойчивост на фрагментите, тъй като копията на тях могат да бъдат разпределени в множество центрове за данни.
Предварително дефинирано разделяне
Частите могат да бъдат ограничени до конкретни подмножества от възли в клъстер въз основа на политика, обикновено по специфичен за клиента начин. Това позволява прилагането на географски базирани политики. След това таблиците могат да се репликират между клъстери и да се задават от политики, за да се гарантира, че репликацията на таблици и свързаните сегменти е ограничена до желаните географски области.
OpDB на Cloudera осигурява естествена поддръжка за суверенитет на данните. Ако клъстерът обхваща няколко държави, регионалните сървърни групи могат да се използват за закрепване на данни в конкретни държави заедно с конфигурацията на HDFS Rack изолация.
Запитвания
Cloudera предоставя три механизма за заявки, оптимизирани за различни типове случаи на използване, както оперативни, така и аналитични, и NoSQL интерфейси, за да даде възможност за оптимизирана производителност, варираща в широк спектър от работно натоварване и натоварване на складовете за данни. Това позволява изпълнението на заявки и обединяване на данни в множество сегменти.
OpDB на Cloudera предоставя вграден OLTP SQL двигател, който поддържа заявки за множество данни и обектни модели, включително запитване и свързване между тях. Две от нашите OLAP машини за заявки могат да се използват за картографиране на външни таблици, които се намират в нашата OpDB (или на други места) и могат да правят заявки или да се присъединят към тях за по-сложни аналитични заявки, типични за съхранението на данни
Инструменти за интегриране на данни
Cloudera предоставя множество инструменти, които позволяват интеграция със съхранение на данни и обединена обработка на заявки.
Например:
- Груповото експортиране в склад за данни се осигурява от Flink, Spark, Hive и MapReduce
- Поточно експортирането в склад за данни се осигурява от Nifi
- Заявката за данни на място в нашата OpDB се предоставя от Phoenix, Impala и Hive
- Обединена обработка на заявки в нашата OpDB, решения за съхранение на данни и решения за склад на данни на трети страни се предоставят от Hive
Поддръжка на външни данни
OpDB на Cloudera включва много инструменти на Hadoop и се интегрира с по-голямата част от екосистемата на Hadoop.
Нашата OpDB предоставя NoSQL и SQL интерфейси. Няма ограничения за този интерфейс и е много добре поддържан в общността на Hadoop.
Mobile OpDB
MiNiFi може да се използва на преносими устройства на ръба и да осигурява свързаност на данни с OpDB.
Редакторът на заявки HUE може да работи на мобилно или преносимо устройство.
Стандартно базирана свързаност
Cloudera предоставя както JDBC, така и ODBC драйвери, предоставени чрез нашите SQL машини в допълнение към директния достъп до API до нашите хранилища за данни и инструменти.
Следва
В тази публикация в блога разгледахме някои от възможностите за достъпност на OpDB, като заявка за данни, интеграция на данни и свързаност. В следващата статия ще разгледаме как можете да използвате административните възможности в OpDB, намерете го тук.
За повече информация, моля, отидете на:Първи стъпки с оперативна база данни.
