Apache HBase се превърна в проект от най-високо ниво с Apache преди 10 години и Cloudera започна да допринася за него по същото време (2010). През това време той се превърна в един от най-големите и популярни инструменти с отворен код в големи данни и една от най-популярните бази данни NoSQL.
Софтуерната фондация Apache обявява 10-ата годишнина на Apache HBase
HBase поддържа както ключ-стойност, така и NoSQL база данни с широки колони и се използва от предприятията навсякъде. Cloudera има над 500 клиенти в производството, които го използват за случаи на употреба, вариращи от критични транзакционни приложения, съхранение на данни, машинно обучение и инженерство на данни. Нашите клиенти избират HBase поради неговата устойчивост (като някои клиенти могат да реализират 100% време за работа на приложенията в продължение на много години), стабилност, производителност и ниски оперативни разходи. Клиентите на Cloudera го внедряват самостоятелно, заедно с Phoenix, която е SQL базирана база данни, изградена на HBase и понякога с Apache Impala и/или Apache Hive, което им позволява да изпълняват SQL базирани OLAP заявки на HBase.
От 2018 г. съм продуктов мениджър за предлагането на оперативна база данни на Cloudera и имах възможността да се срещна с много от нашите клиенти. Непрекъснато съм впечатлен от широката гама от начини, по които клиентите използват HBase. Обхватът на случаите на използване е толкова голям и разнообразен, че не се поддава на сегментиране. След много анализи стигнах до прост подход за класифициране на случаи на употреба - клиенти, които го използват за поддръжка на критични приложения и тези, които не го правят. Приложенията, които са критични за мисията, са склонни да имат транзакционен характер и помагат на нашите клиенти да увеличат своите най-добри приходи и/или да повишат оперативната ефективност. За тях, ако HBase падне надолу, горната линия и/или долната линия е засегната и в най-лошия случай хората могат да умрат.
Примери за критични случаи на употреба:
- Продавач на софтуер за здравеопазване използва HBase за захранване на стотици приложения. Ако тези приложения не успеят, по някаква причина хората могат да умрат и разходите за здравеопазване се увеличат. Този клиент е внедрил HBase на 7000+ възли с над 70 PB данни.
- Производител на мобилни телефони използва HBase, за да активира гласов асистент и много други случаи на употреба на 6000+ възли
- Финансова медийна къща използва HBase за захранване на части от платформата и позволява на търговците и други да разберат съответния контекст около движенията на цените на акциите, тенденциите и т.н. на 1200+ възли
- Водеща на пазара платформа за имейл маркетинг работи с HBase на ~1000 възела
- Доставчикът на застраховка използва HBase на ~1000 възли, за да съхранява цялата информация за искове и я използва за управление на тези искове през целия им жизнен цикъл
- Доставчик на библиотечни услуги използва HBase на 400+ възли, за да поддържа междубиблиотечни заеми по света
- Глобална компания за електроразпределение използва HBase на 400+ възела, за да приема показания от 7+ милиона интелигентни измервателни уреди и да извършва автоматизирано разполагане на екипи за ремонт на електроразпределителната мрежа, приложения за таксуване на електроенергия и стимулиране на непрекъснато обучение на модели за машинно обучение
- Най-голямата индонезийска телекомуникационна компания, Telkomsel, с над 170 милиона клиенти, мигрира цялото си CRM приложение от наследена MPP база данни към HBase и Impala и успя да постигне време за реакция под секунда на всички CRM заявки за отделни потребители, записи на обаждания, профили, презареждане, използване на данни и т.н. Предимството на Impala да отправя заявки към HBase беше да се осигури ANSI SQL съвместим интерфейс, достъпен чрез JDBC, за да се сведат до минимум промените в CRM.
Примери за случаи на употреба, които не са критични за мисията:
- Производител на продукти за лична хигиена използва HBase, за да управлява всички свои продуктови марки и маркетингови материали
- Производител на полупроводници използва HBase, за да съхранява регистрационни файлове от своите продукти и ги извлича в други системи за анализ.
- Доставчик на телекомуникации използва HBase, за да съхранява своите таблици с размери за Hive
Това, което отличава HBase от другите предложения на NoSQL, е неговата интеграция в екосистемата с отворен код, големи данни, която позволява на клиентите да имат изживяване от край до край. Те могат да го използват за приложения, които се нуждаят от данни от периферията или приложения, които трябва да доставят AI/ML модели в мащаб или всяка комбинация от тях.
Един от най-интересните билети за поддръжка, които съм виждал да срещам в Cloudera, е, когато клиент на HBase подаде билет с висок приоритет, показващ, че критично важното им внедряване е спряно. Те не са взаимодействали с нас повече от година и дори не знаех, че са важен клиент. Само в този случай научих, че са разположили 1000 възли за захранване на омниканална маркетингова платформа на HBase. Коренът на проблема беше, че те бяха направили някои проблематични промени в настройките на конфигурацията си 9 месеца преди инцидента. Когато най-накрая се рестартираха, проблемните настройки на конфигурацията влязоха в сила, което ги накара да помолят Cloudera за помощ!
Cloudera се грижи дълбоко за HBase и има 15 членове и членове на PMC в проекта. Ние също така инвестираме, за да го направим достъпен в публичен облак, както с PaaS-подобни, така и с dbPaaS форм-фактори.
Опит HBase през годините
Предвид нашия дългогодишен ангажимент и история с този проект, ние искахме да споделим няколко преживявания и истории, свързани с този проект, от целия екип на Cloudera.
„Преди години присъствах на техническа конференция, насочена към Apache Hadoop. Късно една вечер се връщах в стаята си и случайно видях група хора, които разпознах като дългогодишни клиенти, скупчени около маса. Това са една много компетентна група от хора, с които съм работил много години. Завивах се натам, възнамерявайки да кажа за кратко и да тръгна след дълъг ден. Оказа се, че те са имали прекъсване на производството на една от техните системи и са били в средата на опитите да го разрешат. Седнах, извадих лаптопа си и се мотах с тях през следващите няколко часа, докато анализирахме проблема и се занимавахме с проблемите, които открихме. Поддръжката на критични за мисия приложения понякога изисква героизъм, но понякога можете да намерите и някои птици от перо по пътя.“
— старши инженер
„В естеството на много бизнеси е абсолютно жизненоважно да можете да мащабирате и все пак да изпълнявате изискванията за ниска латентност на тяхната критична система. Ако погледнете назад през архивите, нашите клиенти са имали трудни времена, за да отговарят на толкова трудни стандарти. HBase притежава елементите, които го правят лесно да се отговори на тези очаквания, особено чрез минимизиране на времето за задействане на следващото най-добро действие.“
— Главен архитект на решения
„Преди три години бях нов инженерен мениджър за дърводелци в Cloudera. Преди знаех за дейността на компанията с отворен код и бях потребител на GNU Linux от гимназията, но използването на отворен код и участието в него са напълно различни.
Като нов човек в компанията трябваше да разбера какво прави екипът, така че получих няколко билета за поддръжка, назначени за мен и започнах да работя върху тях. Знаех само две неща, бях Java разработчик в продължение на много години, така че трябва да мога да го правя, а Hortonworks е нашият най-предизвикателен конкурент, което означава, че може да е интересно да работя с тях.
И тогава се случи, с първия си билет за Apache HBase попаднах на Джош Елсер – ръководител на екипа на HBase на Hortonworks – който ми показа, че изпълнението на newby задача може да бъде по-трудно от очакваното (с лентите за качество, които екипът на HBase има) и че вашият конкурент може да бъде вашият най-добър партньор в общността с отворен код. В крайна сметка той извърши моите промени.
През последните три години много неща се промениха. Cloudera и Hortonworks се сляха, сега работим в една и съща компания, но Apache и HBase са едни и същи. Имам ограничено време да работя върху кода, но виждам силата му, виждам как се използва за услуги, за които не знаех, че съществуват, и виждам как кара хората по целия свят да работят заедно. Свързва хора от компании, континенти, култури.”
— Инженерен мениджър
„HBase и Phoenix бяха лесни за научаване. Data Hub улеснява стартирането и сега с нетърпение очакваме Cloudera Operational Database да пренесе HBase в следващото десетилетие.”
— Технически мениджър за успех на клиенти
„През последните 9 години бях от първа линия до развитието на HBase и видях еволюцията на това как нашите клиенти използват HBase от POC до мащабни, критични за мисията платформи. Най-забележителният момент през това време беше преди сливането на Cloudera и Hortonworks, когато екипите на двете компании работиха заедно, за да подобрят функционалността на една критична характеристика на продукта. В крайна сметка работата беше представена на HBaseCon и получи голямо признание от двама от най-големите потребители на HBase. Тази функция захранва критична функционалност, използвана от повече от 2B мобилни устройства по света.”
– старши инженер
„Друг страхотен момент от последните 10 години на HBase беше на HBaseCon 2015, когато Картър Пейдж от Google даде публично признание как HBase се превърна в много солиден проект“
– старши инженер
„Имах удоволствието да присъствам на почти всички HBaseCons (и да говоря на някои от тях). Това са три от любимите ми спомени за HBaseCon:(1) Разнообразието на HBase:съобщението за HBase 2.0 подчерта не само броя на доставените JIRA, но и броя на HBase committers и членовете на PMC извън САЩ плюс жена, която ръководи HBase PMC , (2) Инерцията на HBase:съобщението на Facebook, че напускат своя персонализиран разклон, за да преминат 100% нагоре по веригата на Apache HBase, и (3) стъпките на HBase:на един HBaseCon разработчик на Bloomberg изнесе реч за реплики за четене и след това два HBaseCons по-късно , разработчик на Apple даде основна бележка на HBaseCon относно използването на реплики за четене в производството.”
– старши системен инженер
В Cloudera продължаваме да виждаме светло бъдеще за този проект и очакваме той да се развие, за да захранва приложения от следващо поколение, които се изграждат в облака във форм фактори, подобни на PaaS и dbPaaS, както и в център за данни с частен облак.
За предварителен преглед на това, което предстои, вижте Шаблон за оперативен DB на CDP Public Cloud .
