Labākā prakse Hadoop servera izvietošanai CentOS/RHEL 7 - 1. daļa


Šajā rakstu sērijā mēs aplūkosim visu Cloudera Hadoop klastera ēkas ēku, izmantojot Pārdevēja un rūpniecības ieteiktās paraugprakses.

OS instalēšana un OS līmeņa priekšnosacījumi ir pirmie soļi, lai izveidotu Hadoop klasteri. Hadoop var darboties dažādos Linux platformas aromātos: CentOS, RedHat, Ubuntu, Debian, SUSE uc šajā apmācību sērijā.

Organizācijā OS instalēšanu var veikt, izmantojot kickstart. Ja tā ir 3 līdz 4 mezglu kopa, ir iespējama manuāla instalēšana, bet, ja mēs izveidojam lielu kopu, kurā ir vairāk nekā 10 mezgli, ir garlaicīgi instalēt OS pa vienam. Šajā scenārijā Kickstart metode nonāk attēlā, mēs varam turpināt masveida instalāciju, izmantojot kickstart.

Labas veiktspējas panākšana, izmantojot Hadoop vidi, ir atkarīga no pareizas aparatūras un programmatūras nodrošināšanas. Tātad ražošanas Hadoop klastera izveide prasa daudz apsvērumu attiecībā uz aparatūru un programmatūru.

Šajā rakstā mēs iepazīsimies ar dažādiem etalonu par OS instalēšanu un dažām paraugpraksēm Cloudera Hadoop Cluster Server izvietošanai CentOS/RHEL 7.

Svarīgs apsvērums un paraugprakse Hadoop Server izvietošanai

Tālāk ir sniegta paraugprakse, kā iestatīt Cloudera Hadoop Cluster Server izvietošanu CentOS/RHEL 7.

  • Hadoop serveriem nav nepieciešams uzņēmuma standarta serveris, lai izveidotu kopu, tam nepieciešama preču aparatūra.
  • Ražošanas kopā ieteicams izmantot 8 līdz 12 datu diskus. Atkarībā no slodzes rakstura mums tas jāizlemj. Ja kopa paredzēta lietošanai intensīvās lietojumprogrammās, ieteicams izmantot 4–6 diskus, lai izvairītos no I/O problēmām.
  • Datu diskus vajadzētu sadalīt atsevišķi, piemēram, sākot no/data01 līdz/data10.
  • RAID konfigurācija nav ieteicama darba ņēmēju mezgliem, jo pats Hadoop nodrošina kļūdu toleranci attiecībā uz datiem, pēc noklusējuma atkārtojot blokus 3. Tātad JBOD ir vislabākais darba ņēmēju mezgliem.
  • Galvenajiem serveriem RAID 1 ir labākā prakse.
  • CentOS/RHEL 7.x noklusējuma failu sistēma ir XFS. Hadoop atbalsta XFS, ext3 un ext4. Ieteicamā failu sistēma ir ext3, jo tiek pārbaudīta laba veiktspēja.
  • Visiem serveriem jābūt vienādai OS versijai, vismaz vienādai nelielai laidienai.
  • Vislabāk ir nodrošināt viendabīgu aparatūru (visiem darba ņēmēju mezgliem jābūt vienādiem aparatūras parametriem (operatīvā atmiņa, diska vieta un kodols utt.).
  • Atkarībā no klastera darba slodzes (līdzsvarota darba slodze, intensīva skaitļošana, intensīva I/O intensitāte) un lieluma, resursu (RAM, CPU) plānošana katram ser 27F verim atšķirsies.

Atrodiet zemāk redzamo 24TB krātuves serveru diska sadalīšanas piemēru.

CentOS 7 instalēšana Hadoop servera izvietošanai

Lietas, kas jāzina pirms CentOS 7 servera instalēšanas Hadoop Server.

  • Hadoop serveriem (darbinieku mezgliem) pietiek ar minimālu instalēšanu, dažos gadījumos GUI var instalēt tikai Master serveriem vai Management serveriem, kur pārvaldības rīku tīmekļa lietotāja saskarnēm varam izmantot pārlūkprogrammas.
  • Tīklu, resursdatora nosaukuma un citu ar OS saistīto iestatījumu konfigurēšanu var veikt pēc OS instalēšanas.
  • Reāllaikā serveru pārdevējiem būs sava konsole, lai mijiedarbotos un pārvaldītu serverus, piemēram, Dell serveriem ir iDRAC, kas ir ierīce, kas iegulta serveros. Izmantojot šo iDRAC saskarni, mēs varam instalēt OS ar OS attēlu mūsu vietējā sistēmā.

    Šajā rakstā mēs esam instalējuši OS (CentOS 7) virtuālajā mašīnā VMware. Šeit mums nebūs vairāku disku, lai veiktu nodalījumus. CentOS ir līdzīgs RHEL (tā pati funkcionalitāte), tāpēc mēs redzēsim soļus CentOS instalēšanai.

    1. Sāciet, lejupielādējot CentOS 7.x ISO attēlu vietējā Windows sistēmā un atlasiet to, palaižot virtuālo mašīnu. Izvēlieties ‘Install CentOS 7’, kā parādīts.

    2. Atlasiet valodu, noklusējums būs angļu valoda un noklikšķiniet uz turpināt.

    3. Programmatūras izvēle - atlasiet “Minimālā instalācija” un noklikšķiniet uz “Gatavs”.

    4. Iestatiet saknes paroli, jo tas mūs mudinās iestatīt.

    5. Instalācijas galamērķis - tas ir svarīgs solis, lai būtu piesardzīgs. Mums jāizvēlas disks, kurā jāinstalē OS, OS jāizvēlas īpašs disks. Noklikšķiniet uz ‘Instalācijas galamērķis’ un atlasiet Disku, reāllaikā būs vairāki diski, mums jāizvēlas, vēlams ‘sda’.

    6. Citas krātuves opcijas - izvēlieties otro opciju (es konfigurēšu nodalīšanu), lai konfigurētu ar OS saistīto sadalīšanu, piemēram,/var,/var/log,/home,/tmp,/opt,/swap.

    7. Kad tas ir izdarīts, sāciet instalēšanu.

    8. Kad instalēšana ir pabeigta, restartējiet serveri.

    9. Piesakieties serverī un iestatiet resursdatora nosaukumu.

    # hostnamectl status
    # hostnamectl set-hostname tecmint
    # hostnamectl status
    

    Šajā rakstā mēs esam izgājuši OS instalēšanas darbības un paraugpraksi failu sistēmas nodalīšanai. Tie visi ir vispārīgi norādījumi, atkarībā no slodzes rakstura mums, iespējams, būs jākoncentrējas uz vairākām niansēm, lai sasniegtu labāko klastera sniegumu. Klasteru plānošana ir Hadoop administratora māksla. Nākamajā rakstā mēs būsim dziļi ieniruši OS līmeņa priekšnosacījumos un drošības sacietēšanā.