Kā instalēt CDH un konfigurēt pakalpojumu izvietojumus CentOS/RHEL 7 - 4. daļa
Iepriekšējā rakstā mēs esam izskaidrojuši Cloudera Manager instalēšanu, šajā rakstā jūs uzzināsiet, kā instalēt un konfigurēt CDH (Cloudera Distribution Hadoop) RHEL/CentOS 7.
Instalējot CDH paku, mums jānodrošina Cloudera Manager un CDH saderība. Cloudera versijai ir 3 daļas -
Piemēram, mēs izmantojam Cloudera Manager 6.3.1 un CDH 6.3.2. Šeit 6 ir galvenie un 3 ir nelielie varianti. Lai izvairītos no saderības problēmām, galvenajam un nepilngadīgajam jābūt vienādam.
- Hadoop servera izvietošanas paraugprakse CentOS/RHEL 7 - 1. daļa
- Hadoop priekšnoteikumu un drošības sacietēšanas iestatīšana - 2. daļa
- Kā instalēt un konfigurēt Cloudera Manager vietnē CentOS/RHEL 7 - 3. daļa
CDH instalēšanai mēs izmantosim zemāk minētos 2 mezglus. Jau esam instalējuši Cloudera Manager master1, kā arī izmantojam master1 kā repo serveri.
master1.linux-console.net worker1.linux-console.net
1. darbība: lejupielādējiet CDH pakas Master Server
1. Vispirms izveidojiet savienojumu ar master1 serveri un lejupielādējiet CDH Parcels failus direktorijā/var/www/html/cloudera-repos/cdh. Mums ir jālejupielādē zemāk minētie 3 faili, kuriem jābūt saderīgiem ar RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Pirms šo failu lejupielādes noteikti izveidojiet cdh direktoriju mapē/var/www/html/cloudera-repos/location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Pēc tam lejupielādējiet iepriekš minētos 3 failus, izmantojot šādu komandu wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2. darbība: iestatiet Cloudera Manager atpirkšanu strādājošajiem klientiem
4. Tagad izveidojiet savienojumu ar darbinieku serveriem un kopējiet repo failu (cloudera-manager.repo) no repo servera (master1) uz visiem atlikušajiem darba serveriem. Šis repo fails nodrošina serveriem, ka visas nepieciešamās pakas un RPM instalēšanas laikā tiks lejupielādētas no repo servera.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Kad repo ir pievienots, uzskaitiet iespējotos krātuves, lai pārliecinātos, ka cloudera-manager repo ir iespējots.
$ yum repolist
3. darbība: instalējiet Cloudera Manager Daemons un Agent uz darbinieku serveriem
6. Tagad mums visos pārējos serveros ir jāinstalē cloudera-manager-daemons un cloudera-manager-agent.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Pēc tam jums jākonfigurē Cloudera Manager aģents, lai ziņotu par Cloudera Manager serveri.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Nomainiet localhost ar Cloudera Manager servera IP adresi.
8. Sāciet Cloudera Manager Agent un pārbaudiet statusu.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
4. darbība: instalējiet un iestatiet CDH
Mums ir CDH pakas master1 - repo serverī. Pārliecinieties, ka visos serveros ir Cloudera Manager repo fails mapē /etc/yum.repos.d/, ja sekojat automātiskai instalēšanai, izmantojot Cloudera Manager.
9. Piesakieties Cloudera Manager, izmantojot zemāk redzamo URL portā 7180, un izmantojiet Cloudera Manager noklusējuma lietotājvārdu un paroli.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Kad esat pieteicies, jūs sagaida ar sveicienu lapu. Šeit jūs varat atrast piezīmes par izlaidumu, Cloudera Manager jaunās iespējas.
11. Pieņemiet licenci un turpiniet.
12. Atlasiet izdevumu. Izmēģinājuma versija ir izvēlēta pēc noklusējuma, mēs varam turpināt.
13. Tagad izpildiet klastera instalēšanas darbības. Turpiniet sveiciena lapu.
14. Nosauciet kopu un turpiniet. Mēs to nosaucām par “tecmint”. Jūs varat definēt divu veidu kopas. Mēs strādājam ar Regular Cluster.
- Regulāra kopa: sastāvēs no uzglabāšanas mezgliem, mezglu aprēķināšanas un citiem nepieciešamajiem pakalpojumiem.
- Skaitļošanas kopa: sastāvēs tikai no skaitļošanas mezgliem. Datu glabāšanai var izmantot ārēju krātuvi.
15. Mēs visos serveros jau esam instalējuši Cloudera Manager aģentus. Šos serverus varat atrast sadaļā “Pašlaik pārvaldītie saimnieki”. Lai veiktu automātisku instalēšanu, opcijā “Jaunie saimnieki” jāievada serveru FQDN vai IP un jāmeklē. Cloudera Manager automātiski noteiks resursdatorus, kuros mums jāinstalē CDH.
Šeit noklikšķiniet uz “Pašlaik pārvaldītie saimnieki”, atlasiet visus resursdatorus, atlasot “Saimnieka nosaukums”, un turpiniet.
16. Atlasiet krātuvi - ieteicams izmantot paku. Noklikšķiniet uz “Citas opcijas”, lai konfigurētu krātuvi.
17. Ievadiet vietējā repozitorija URL, kā minēts zemāk. Noņemiet visus atlikušos publiskos krātuves, kas norāda Web (Cloudera krātuves).
Šis ir CDH lokālā repozitorija URL, kas mums ir master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Pēc krātuves URL ievadīšanas šajā lapā tiks rādīti tikai pieejamie pakas. Turpiniet šo darbību.
19. Tagad pakas tiek lejupielādētas, izplatītas, izpakotas un aktivizētas visos pieejamos serveros.
20. Kad CDH pakas ir aktivizētas, pārbaudiet kopu. Šis solis veiks klastera veselības pārbaudi. Šeit mēs izlaižam un turpinām.
5. darbība: klastera konfigurācija
21. Šeit mums jāizvēlas Pakalpojumi, kas jāinstalē klasterī. Dažas iepakotas kombinācijas būs pieejamas pēc noklusējuma, mēs izmantojam pielāgotos pakalpojumus.
22. Pielāgotajos pakalpojumos šim demonstrācijas mērķim mēs instalējam tikai galvenos komponentus (HDFS un YARN).
23. Piešķiriet lomas serverim. Mēs varam pielāgot atbilstoši mūsu prasībām. Atrodiet zemāk redzamo diagrammu, kurā aprakstīts ieteicamais lomu sadalījums pamata mazai kopai ar 5 līdz 20 mezgliem ar augstu pieejamību.
24. Atlasiet datu bāzes veidu, resursdatora nosaukumu, DB nosaukumu, lietotājvārdu un paroli. Tā kā mēs izmantojam Embedded PostgreSQL, tas tiks atlasīts pēc noklusējuma. Pārbaudiet savienojumu, tam vajadzētu būt veiksmīgam.
25. Šajā lapā tiks parādīti HDFS un dzijas noklusējuma konfigurācijas parametri, ieskaitot datu direktorijus. Pārskatiet visu konfigurācijas informāciju un, ja nepieciešams, varat veikt izmaiņas. Tad turpiniet ar šo.
26. Šajā lapā tiks parādīta sīkāka informācija par komandu ‘First Run’. Varat to izvērst, lai skatītu sīkāku informāciju par komandu palaišanu. Ja klasterī ir kādas tīkla vai atļauju problēmas, šī darbība neizdosies. Parasti šis solis izlemj vienmērīgu klastera ēkas uzstādīšanu.
27. Kad iepriekš minētā darbība ir pabeigta, noklikšķiniet uz Pabeigt, lai pabeigtu instalēšanu. Pēc CDH instalēšanas tas ir Cloudera Manager informācijas panelis.
http://104.211.95.96:7180/cmf/home
Mēs esam veiksmīgi pabeiguši Cloudera Manager un CDH instalēšanu. Cloudera Manager informācijas panelī varat atrast iepriekš noteiktu diagrammu kopu, kurā varat pārraudzīt klastera procesoru, diska IO utt. Mēs varam pārvaldīt visu klasteri, izmantojot šo Cloudera Manager. Visas administratīvās darbības mēs redzēsim nākamajos rakstos.