В този урок за Hadoop , ще обсъдим концепцията за автоматично преодоляване на отказ на NameNode в Hadoop Преди всичко ще видим какво представлява отказът и видовете отказ. След това ще покриемHDFS автоматично преминаване при отказ в Hadoop.
Компоненти на Hadoop Automatic Failover в HDFS, като ZooKeeper quorum, ZKFailoverController Process (ZKFC). Най-накрая ще обсъдим и ролите на тези двакомпонента в Hadoop .
Какво е Failover?
Процесът, при който системата прехвърля контрола си към вторичната система, когато открие неизправност, е известен катопреодоляване на отказ .
Отказът е от два вида:
- Изящно прекратяване на отказ – Администраторът инициира Graceful Failover ръчно, например в случай на рутинна поддръжка. Системата няма да активира автоматично превключване при отказ от активния в режим на готовност имен възел, дори ако активният възел се е провалил в Graceful Failover.
- Автоматично преминаване при отказ – Автоматично прекратяване на отказ е процесът, при който системата автоматично прехвърля контрола си към резервния NameNode, когато NameNode се повреди. В Hadoop автоматичното преминаване при отказ се случва в случай на повреди на NameNode. Но в случай на повреда на NameNode, Failover ще започне автоматично. Това преминаване при отказ е автоматично превключване.
Автоматично преодоляване на отказ на NameNode в Hadoop
Автоматичното преминаване на отказ в Hadoop добавя по-долу компоненти към внедряването на Hadoop HDFS:
- Кворум на ZooKeeper.
- ZKFailoverController Process (ZKFC).
1. ZooKeeper Quorum
Zookeeper в Hadoop е централизирана услуга. Той поддържа информация за конфигурацията, именуване и осигурява разпределена синхронизация. Предлага и групови услуги. Zookeeper също така управлява и координира голям клъстер от машини.
Поради следните причини, внедряването на автоматично преминаване на HDFS при отказ разчита на Zookeeper:
- Откриване на неизправност- Zookeeper в Hadoop поддържа сесия с имената. По време на неуспех сесията ще изтече. Така Zookeeper ще информира други възли с имена да започнат процеса на отказ.
- Election Active NameNode- Прост механизъм, предоставен от Zookeeper за избиране само на възел като активен. По време на повреда на активния възел на име, друг възел на име може да поеме изключителна ключалка в Zookeeper, заявявайки, че иска да стане следващия активен възел на име.
2. ZKFailoverController (ZKFC)
ZKFC е клиент на Zookeeper в Hadoop, който следи и управлява състоянието на възела на име. Всяка от машините, които изпълняват услугата namenode, също изпълнява ZKFS. Може да обработва:
- Мониторинг на здравето – С команда за проверка на здравето ZKFS пингува своя локален възел на име. ZKFS счита възела на име за здрав, стига наименованието да отговаря наведнъж. Здравният монитор ще маркира възел като нездравословен, ако възелът се е сринал или е влязъл в нездравословно състояние.
- Управление на сесиите на Zookeeper – ZKFC държи сесия отворена в Zookeeper, когато локалният възел на име е здрав. Той също така съдържа специален „lock“ znode, ако локалният възел на име е активен. Ако сесията изтече, заключването ще бъде автоматично изтрито.
- Избори, базирани на пазители на зоопарка – В HDFS, ако локалният възел на име е здрав и ZKFC вижда, че никой друг възел в момента не държи заключващия znode, той сам ще се опита да получи заключването. И ако успее, значи е спечелил изборите“ и се справя с изпълнението на отказ, за да направи своя локален възел на име активен.
Заключение
Следователно автоматичното преминаване към отказ в Hadoop стартира автоматично в случай на повреда на NameNode. Автоматичното преминаване към отказ добавя компоненти на кворума на ZooKeeper и ZKFailoverController Process (ZKFC) към внедряването на HDFS.
Zookeeper в Hadoop е услуга, която предоставя възможност за автоматично превключване при отказ в HDFS .
