Kā instalēt un konfigurēt Cloudera Manager vietnē CentOS/RHEL 7 - 3. daļa

Šajā rakstā mēs aprakstījām soli pa solim Cloudera Manager instalēšanu atbilstoši rūpnieciskajai praksei. 2. daļā mēs jau esam izgājuši Cloudera priekšnosacījumus, pārliecinieties, ka visi serveri ir sagatavoti perfekti.

Hadoop servera izvietošanas paraugprakse CentOS/RHEL 7 - 1. daļa
Hadoop priekšnoteikumu un drošības sacietēšanas iestatīšana - 2. daļa

Šeit mums būs 5 mezglu kopa, kurā būs 2 meistari un 3 darbinieki. Esmu izmantojis 5 AWS EC2 gadījumus, lai parādītu instalēšanas procedūru. Šos 5 serverus es nosaucu šādi.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager ir visas CDH administratīvais un uzraudzības rīks. Mēs administrators to parasti sauc par Cloudera Hadoop pārvaldības rīku. Izmantojot šo rīku, mēs varam izvietot, pārraudzīt, kontrolēt un veikt konfigurācijas izmaiņas. Tas ir ļoti svarīgi, lai pārvaldītu visu kopu.

Tālāk ir sniegti svarīgi Cloudera Manager lietojumi.

Automātiski izvietojiet un konfigurējiet Hadoop kopas.
Pārraugiet kopu stāvokli
Konfigurējiet brīdinājumus
Traucējummeklēšana
ziņošana
Klastera izmantošanas pārskata sagatavošana
Dinamiski konfigurēt resursus

1. darbība: Apache tīmekļa servera instalēšana CentOS

Mēs izmantosim master1 kā tīmekļa serveri Cloudera krātuvēm. Arī Cloudera Manager ir WebUI, tāpēc mums ir jābūt instalētai Apache. Veiciet tālāk norādītās darbības, lai instalētu apache tīmekļa serveri.

# yum -y install httpd

Kad esat instalējis httpd, palaidiet to un iespējojiet, lai tas tiktu palaists sāknēšanas laikā.

# systemctl start httpd
# systemctl enable httpd

Pēc httpd palaišanas pārliecinieties par statusu.

# systemctl status httpd

Pēc httpd palaišanas vietējā sistēmā atveriet pārlūkprogrammu un meklēšanas joslā ielīmējiet master1 IP adresi. Jums vajadzētu iegūt šo testa lapu, lai pārliecinātos, ka httpd darbojas labi.

2. darbība: konfigurējiet vietējo DNS, lai atrisinātu IP un resursdatora nosaukumu

Mums ir jābūt DNS serverim vai jākonfigurē/etc/hosts, lai atrisinātu IP un resursdatora nosaukumu. Šeit mēs konfigurējam/etc/hosts, taču reālajā laikā ražošanas videi būs paredzēts īpašs DNS serveris.

Veiciet tālāk norādītās darbības, lai ierakstītu visus savus serverus mapē/etc/hosts.

# vi /etc/hosts

Tas jākonfigurē visos serveros.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

3. darbība: konfigurējiet pieteikšanos bez paroles SSH

Šajā demonstrācijā vietnē master1 tiek instalēts Cloudera Manager. Mums jākonfigurē ssh bez paroles no master1 uz visiem citiem mezgliem. Tā kā Cloudera Manager izmantos ssh, lai sazinātos ar visiem citiem mezgliem pakotņu instalēšanai.

Veiciet tālāk norādītās darbības, lai konfigurētu bez paroles ssh no master1 uz visiem pārējiem serveriem. Mums būs lietotājs “tecmint”, lai turpinātu darbu.

Izveidojiet lietotāja tecmint visus 4 serverus, izmantojot komandu useradd, kā parādīts.

# useradd -m tecmint

Lai piešķirtu root privilēģijas lietotājam ‘tecmint’, pievienojiet zemāk esošo rindu failā/etc/sudoers. Jūs varat pievienot šo rindu zem saknes kā dot ekrānuzņēmumā.

tecmint   ALL=(ALL)    ALL

Pārslēdzieties uz lietotāja ‘tecmint’ un izveidojiet ssh atslēgu master1 , izmantojot tālāk norādīto komandu.

# sudo su tecmint
$ ssh-keygen

Tagad kopējiet izveidoto atslēgu uz visiem 4 serveriem, izmantojot komandu ssh-copy-id, kā parādīts.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Tagad jums vajadzētu būt iespējai ssh no master1 uz visiem serveriem bez paroles, kā parādīts.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

4. darbība: Cloudera Manager instalēšana un konfigurēšana

Mēs varam izmantot pārdevēja (Cloudera) krātuvi, lai instalētu visas paketes, izmantojot RHEL/CentOS pakotņu pārvaldības rīkus. Reāllaikā mūsu pašu krātuves izveide ir labākā prakse, jo mums, iespējams, nav piekļuves internetam ražošanas serveros.

Šeit mēs instalēsim Cloudera Manager 6.3.1 laidienu. Tā kā mēs izmantosim master1 kā repo serveri, mēs lejupielādējam paketes tālāk minētajā ceļā.

Izveidojiet zemāk minētos direktorijus serverī master1 .

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Mēs varam izmantot rīku wget, lai lejupielādētu paketes, izmantojot http. Tātad, instalējiet wget, izmantojot zemāk esošo komandu.

$ sudo yum -y install wget

Pēc tam lejupielādējiet Cloudera Manager darvas failu, izmantojot šo komandu wget.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Iegūstiet darvas failu mapē/var/www/html/cloudera-repos/cm6, jau mēs esam izveidojuši master1 kā tīmekļa serveri, instalējot http, un mēs to esam pārbaudījuši pārlūkprogrammā.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Tagad pārbaudiet, vai visi Cloudera apgr./min faili atrodas direktorijā/var/www/html/cloudera-repos/cm6/RPMS/x86_64.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Izveidojiet /etc/yum.repos.d/cloudera-manager.repo failus visos klastera resursdatora serveros ar šādu saturu, šeit master1 (65.0.101.148) ir tīmekļa serveris.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Tagad krātuve ir pievienota, palaidiet zemāk esošo komandu, lai skatītu iespējotos krātuves.

$ yum repolist

Palaidiet zemāk esošo komandu, lai repozitorijā apskatītu visas pieejamās ar Cloudera saistītās paketes.

$ yum list available | grep cloudera*

Instalējiet cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Palaidiet zemāk esošo komandu, lai skatītu visas instalētās Cloudera pakotnes.

$ yum list installed | grep cloudera*

Palaidiet zemāk esošo komandu, lai palaistu cloudera-scm-server-db, kas ir pamatā esoša datu bāze, lai uzglabātu Cloudera Manager un citus pakalpojumu metadatus.

Pēc noklusējuma Cloudera nāk klajā ar postgre-sql, kas ir iestrādāts Cloudera pārvaldniekā. Mēs instalējam iegulto reāllaika ārējā datu bāzē, kuru var izmantot. Tas var būt Oracle, MySQL vai PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Palaidiet zemāk esošo komandu, lai pārbaudītu datu bāzes statusu.

$ sudo systemctl status cloudera-scm-server-db

Konfigurējiet Cloudera Manager servera db.properties.

$ vi /etc/cloudera-scm-server/db.properties

Konfigurējiet zemāk esošo vērtību EMDEDED, lai Cloudera Manager izmantotu iegulto datu bāzi.

com.cloudera.cmf.db.setupType=EMBEDDED

Palaidiet zemāk esošo komandu, lai palaistu Cloudera Manager serveri.

$ sudo systemctl start cloudera-scm-server

Palaidiet zemāk esošo komandu, lai pārbaudītu Cloudera Manager servera statusu.

$ sudo systemctl status cloudera-scm-server

Palaidiet zemāk esošo komandu, lai sāktu un pārbaudītu Cloudera Manager aģenta statusu.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Kad Cloudera Manager Server ir veiksmīgi izveidots un darbojas, pārlūkprogrammā varat skatīt WebUI (pieteikšanās lapu), izmantojot IP adresi un porta numuru 7180, kas ir Cloudera Manager porta numurs.

https://65.0.101.148:7180

Šajā rakstā mēs esam redzējuši soli pa solim procesu Cloudera Manager instalēšanai CentOS 7. Mēs redzēsim CDH un citas pakalpojumu instalācijas nākamajā rakstā.