Този блог ви предоставя описание на Hadoop HDFS функция за висока наличност. В този блог първо ще обсъдим какво точно представлява високата наличност, как Hadoop постига висока наличност, каква е нуждата от функция за висока наличност на HDFS.
Ще разгледаме и примера на функцията за висока достъпност на Hadoop в този урок за големи данни на Hadoop.
Какво е Hadoop HDFS High Availability?
Hadoop HDFS е разпределена файлова система. HDFS разпределя данни между възлите в клъстера Hadoop, като създава реплика на файла. Hadoop рамка съхранява тези копия на файлове на другите машини, присъстващи в клъстера.
Така че, когато HDFS клиент иска да получи достъп до своите данни, той може лесно да получи достъп до тези данни от редица машини, присъстващи в клъстера. Данните са лесно достъпни в най-близкия възел в клъстера.
При някои неблагоприятни условия като повреда на възел, клиентът може лесно да получи достъп до данните си от другите възли. Тази функция на Hadoop се наричаВисока достъпност .
Как се постига висока наличност в Hadoop?
В HDFS клъстера има редица DataNodes . След определения интервал от време всички тези възли на данни изпращат съобщения за сърдечен ритъм до NameNode . Ако NameNode спре да получава съобщения за сърдечен ритъм от някой от тези възли на данни, тогава той приема, че е мъртъв.
След това той проверява за наличните данни в тези възли и след това дава команди на другия възел за данни да създаде реплика на тези данни към други възли за данни. Следователно данните са винаги налични.
Когато клиент поиска достъп до данни в HDFS, първо, NameNode търси данните в тези възли за данни, в които данните са бързо достъпни. И след това предоставя достъп до тези данни на клиента.
Клиентите не трябва да търсят данните във всички възли с данни. Самият HDFS Namenode прави достъпността на данни лесна за клиентите, като предоставя адреса на възела на данни, откъдето потребителят може директно да чете.
Пример за висока наличност на Hadoop
Hadoop HDFS осигурява висока наличност на данни. Когато клиентът поиска NameNode за достъп до данни, тогава NameNode търси всички възли, в които тези данни са налични.
След това той предоставя достъп до тези данни на потребителя от възела, в който данните са били бързо достъпни. Докато търси данни за всички възли в клъстера, ако NameNode установи, че някой възел е мъртъв, тогава без знанието на потребителя NameNode пренасочва потребител към другия възел, в който са налични същите данни.
Без прекъсване данните се предоставят на потребителя. Така че в условия на повреда на възел също данните са много достъпни за потребителите.
Какви бяха проблемите в наследените системи?
- Данните не бяха налични поради срив на машината.
- HDFS клиентът трябва да чака дълъг период от време, за да получи достъп до данните си. През повечето време потребителите трябва да чакат определен период от време, докато уебсайтът започне да работи.
- Ограничени функции и функции.
- Поради липса на данни завършването на много големи проекти в организациите се удължава за дълъг период от време и следователно компаниите трябва да преминат през критични ситуации.
Заключение
Следователно данните в Hadoop са много достъпни и достъпни въпреки хардуерната повреда поради множество копия на данни. Така че, ако някой възел или машини се сринат или свалят, данните можем да получим достъп до данни от друг път. Научете повече HDFS функции.
Ако смятате, че този блог е полезен за Hadoop High Availability, моля, споделете вашите мисли в секцията за коментари.
