Kā iestatīt Namenode augstu pieejamību - 5. daļa


Hadoop ir divi galvenie komponenti, kas ir HDFS un YARN. HDFS ir paredzēts datu glabāšanai, YARN ir paredzēts datu apstrādei. HDFS ir Hadoop izplatītā failu sistēma, tai ir Namenode kā Master Service un Datanode kā Slave Service.

Namenode ir kritiskā Hadoop sastāvdaļa, kas glabā HDFS saglabāto datu metadatus. Ja Namenode samazināsies, visa kopa nebūs pieejama, tas ir viens atteices punkts (SPOF). Tātad, ražošanas videi būs augsta Namenode pieejamība, lai izvairītos no ražošanas pārtraukumiem, ja viens Namenode pazeminās dažādu iemeslu dēļ, piemēram, mašīnu avārijas, plānotās tehniskās apkopes utt.

Hadoop 2.x nodrošina iespēju, ka mums var būt divi Namenodes, viens būs Active Namenode, bet otrs būs Standby Namenode.

  • Aktīvais Namenode - tas pārvalda visas klienta darbības.
  • Namenode gaidstāves režīmā - tas ir lieks no aktīvā Namenode. Ja aktīvais NN samazināsies, tad gaidstāves NN uzņemsies visu atbildību par aktīvo NN.

Lai iespējotu Namenode High Pieejamību, nepieciešama Zookeeper, kas ir obligāta automātiskai pārslēgšanai. ZKFC (Zookeeper Failover Controller) ir Zookeeper klients, ko izmanto Namenode stāvokļa uzturēšanai.

  • Hadoop servera izvietošanas paraugprakse CentOS/RHEL 7 - 1. daļa
  • Hadoop priekšnoteikumu un drošības sacietēšanas iestatīšana - 2. daļa
  • Kā instalēt un konfigurēt Cloudera Manager vietnē CentOS/RHEL 7 - 3. daļa
  • Kā instalēt CDH un konfigurēt pakalpojumu izvietojumus CentOS/RHEL 7 - 4. daļa

Šajā rakstā mēs iespējosim Namenode augstu pieejamību Cloudera Manager.

1. solis: Zookeeper instalēšana

1. Piesakieties Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Darbības uzvednē Cluster (tecmint) atlasiet “Add Service”.

3. Izvēlieties pakalpojumu “Zookeeper”.

4. Atlasiet serverus, kuros mums būs jāinstalē Zookeeper.

5. Mums būs 3 Zookeepers, lai izveidotu Zookeeper Quorum. Atlasiet serverus, kā minēts zemāk.

6. Konfigurējiet Zookeeper rekvizītus, šeit mums ir noklusējuma. Reāllaikā Zookeeper datu glabāšanai jums ir jābūt atsevišķiem direktorija/pievienošanas punktiem. 1. daļā mēs esam paskaidrojuši par katra pakalpojuma krātuves konfigurāciju. Noklikšķiniet uz "turpināt", lai turpinātu.

7. Instalēšana tiks sākta, tiklīdz tiks instalēta instalētā Zookeeper. Fona darbības varat apskatīt šeit.

8. Pēc veiksmīgas iepriekš minētās darbības pabeigšanas statuss tiks pabeigts.

9. Tagad Zookeeper ir veiksmīgi instalēts un konfigurēts. Noklikšķiniet uz Pabeigt.

10. Zookeeper pakalpojumu varat apskatīt Cloudera Manager informācijas panelī.

2. solis: iespējojiet Namenode augstu pieejamību

11. Dodieties uz Cloudera Manager -> HDFS -> Darbības -> Iespējot augstu pieejamību.

12. Ievadiet nosaukuma pakalpojuma nosaukumu kā “nameservice1” - tā ir izplatīta nosaukumvieta gan aktīvam, gan gaidīšanas režīmā Namenode.

13. Izvēlieties otro Namenode, kurā mums būs gaidīšanas režīms Namenode.

14. Šeit mēs izvēlamies master2.linux-console.net gaidīšanas režīmā Namenode.

15. Atlasiet mezglus Žurnāls. Šie ir obligātie pakalpojumi aktīvā un gaidstāves Namenode sinhronizēšanai.

16. Mēs veidojam Quorum Journal, ievietojot Journal mezglu 3 serveros, kā minēts zemāk. Atlasiet 3 serverus un noklikšķiniet uz Labi.

17. Lai turpinātu, noklikšķiniet uz Turpināt.

18. Ievadiet žurnāla Node direktorijas ceļu. Mums tikai jāpiemin ceļš, kamēr šī direktorija instalēšanu automātiski izveidos pats pakalpojums. Mēs minam kā ‘/ jn’ . Lai turpinātu, noklikšķiniet uz Turpināt.

19. Tas sāks iespējot augstu pieejamību.

20. Kad visi fona procesi būs pabeigti, mēs saņemsim statusu “Pabeigts”.

21. Visbeidzot, mēs saņemsim paziņojumu “Veiksmīgi iespējota augsta pieejamība”. Noklikšķiniet uz Pabeigt.

22. Pārbaudiet aktīvo un gaidstāves Namenode, dodoties uz Cloudera Manager -> HDFS -> Instances.

23. Šeit jūs varat atsijāt divus Namenodes, viens būs stāvoklī “Aktīvs”, bet otrs būs “Gaidīšanas” stāvoklī.

Šajā rakstā mēs esam izgājuši soli pa solim procesu, lai iespējotu Namenode augstu pieejamību. Ļoti ieteicams reāllaika vidē Namenode High Availability visās kopās. Lūdzu, publicējiet savas šaubas, ja, veicot šo procesu, rodas kāda kļūda. Resursu pārvaldnieka augstu pieejamību mēs redzēsim nākamajā rakstā.