Instalējiet un konfigurējiet Apache Oozie darbplūsmas plānotāju CDH 4.X operētājsistēmā RHEL/CentOS 6/5

Oozie ir Hadoop atvērtā pirmkoda plānotājs, tas vienkāršo darbplūsmu un darba koordināciju. Mēs varam noteikt atkarību starp darbiem ievades datiem un tādējādi automatizēt darba atkarību, izmantojot ooze plānotāju.

Šajā apmācībā es esmu instalējis Oozie savā galvenajā mezglā (ti, master kā resursdatora nosaukumu un kur ir instalēts namenode/JT ), tomēr ražošanas sistēmā oozie ir jāinstalē atsevišķā Hadoop mezgls.

Instalēšanas instrukcijas ir sadalītas divās daļās, mēs to saucam par A un B.

A. Oozie instalācija.
B. Oozie konfigurācija.

Vispirms pārbaudīsim sistēmas resursdatora nosaukumu, izmantojot komandu ‘hostname’.

 hostname

master

A metode: Oozie instalēšana RHEL/CentOS 6/5

Lai instalētu CDH4, mēs izmantojam oficiālo CDH repozitoriju no cloudera vietnes. Dodieties uz oficiālo CDH lejupielādes sadaļu un lejupielādējiet CDH4 (t.i., 4.6) versiju. Varat arī izmantot komandu wget, lai lejupielādētu krātuvi un instalētu to.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Kad esat savā sistēmā pievienojis CDH repozitoriju, varat izmantot šo komandu, lai sistēmā Oozie instalētu.

 yum install oozie

Tagad instalējiet oozie klientu (iepriekš minētajai komandai jāaptver klienta instalācijas daļa, taču, ja nē, mēģiniet zemāk komandu).

 yum install oozie-client

Piezīme. Iepriekš minētā instalēšana arī konfigurē oozie pakalpojumu darbībai sistēmas startēšanas laikā. Labs darbs! Mēs esam pabeiguši instalēšanas pirmo daļu, tagad pārejam uz otro daļu, lai konfigurētu oozie.

B metode: Oozie konfigurācija RHEL/CentOS 6/5

Tā kā oozie tieši nesadarbojas ar Hadoop, mums šeit nav nepieciešama kartēta konfigurācija.

Uzmanību: Lūdzu, konfigurējiet visus iestatījumus, kamēr oozie nedarbojas, tas nozīmē, ka jums ir jāveic zemāk norādītās darbības, kamēr oozie pakalpojums nedarbojas.

Oozie pēc noklusējuma DB ir iebūvēts ‘Derby’, tomēr es iesaku izmantot MySQL DB. Instalēsim MySQL datu bāzi, izmantojot šo rakstu.

Instalējiet MySQL datu bāzi RHEL/CentOS 6/5

Kad esat pabeidzis instalēšanas daļu, nākamais virzieties tālāk, lai izveidotu oozie DB un piešķirtu privilēģijas, kā parādīts zemāk.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Pēc tam konfigurējiet MySQL Oozie rekvizītus. Atveriet failu oozie-site.xml un rediģējiet tālāk norādītās īpašības.

 cd /etc/oozie/conf
 vi oozie-site.xml

Ievadiet šādus rekvizītus (vienkārši nomainiet galveno [mans resursdatora nosaukums] ar savu resursdatora nosaukumu).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Lejupielādējiet un pievienojiet MySQL JDBC savienojamības draiveri JAR Oozie lib direktorijai. Lai to izdarītu, terminālā izpildiet šādu nopietnu komandu.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Izveidojiet oozie datu bāzes shēmu, izpildot zemāk esošās komandas, un, lūdzu, ņemiet vērā, ka tas jādarbojas kā oozie lietotājs.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Lai iespējotu oozie tīmekļa konsoli, jums jālejupielādē ExtJS lib no interneta. Dodieties uz oficiālo CDH ExtJS lapu un lejupielādējiet ExtJS 2.2 versijas bibliotēkas, vai arī jūs varat lejupielādēt pakotni, izmantojot šo komandu.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Visbeidzot, palaidiet oozie serveri, izpildot šādas komandas.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Atveriet oozie lietotāja interfeisu, izmantojot iecienīto pārlūkprogrammu, un norādiet uz savu IP adresi. Šajā gadījumā mans IP ir 192.168.1.129.

http://192.168.1.129:11000

Tagad, ja redzat šo lietotāja saskarni. Apsveicu !! Jūs esat veiksmīgi konfigurējis oozie.

Šī procedūra ir veiksmīgi pārbaudīta RHEL/CentOS 6/5. Savos gaidāmajos rakstos es dalīšos, kā konfigurēt un ieplānot hadoop darbus, izmantojot oozie. Uzturiet savienojumu, lai iegūtu vairāk, un neaizmirstiet komentēt savas atsauksmes.