Kā instalēt un konfigurēt Apache Hadoop vienā mezglā CentOS 7

Apache Hadoop ir atvērtā koda ietvara izplata lielu datu glabāšanai un datu apstrādei datoru kopās. Projekta pamatā ir šādas sastāvdaļas:

Hadoop Common - tajā ir Java bibliotēkas un utilītas, kas nepieciešamas citiem Hadoop moduļiem.
HDFS - Hadoop izplatītā failu sistēma - Java balstīta mērogojama failu sistēma, kas sadalīta vairākos mezglos.
MapReduce - YARN ietvars lielo datu paralēlai apstrādei.
Hadoop YARN: kopu resursu pārvaldības sistēma.

Šis raksts palīdzēs jums uzzināt, kā jūs varat instalēt Apache Hadoop vienā mezglu kopā CentOS 7 (darbojas arī RHEL 7 un Fedora 23+ versijās). Šāda veida konfigurācija tiek dēvēta arī par Hadoop pseido-izplatīto režīmu.

1. darbība: instalējiet Java CentOS 7

1. Pirms turpināt Java instalēšanu, vispirms piesakieties, izmantojot root lietotāju vai lietotāju ar root tiesībām, iestatiet datora resursdatora nosaukumu ar šādu komandu.

# hostnamectl set-hostname master

Pievienojiet arī jaunu ierakstu resursdatora failā ar savu mašīnu FQDN, lai norādītu uz jūsu sistēmas IP adresi.

# vi /etc/hosts

Pievienojiet zemāk esošo rindu:

192.168.1.41 master.hadoop.lan

Nomainiet iepriekš minētos resursdatora un FQDN ierakstus ar saviem iestatījumiem.

2. Pēc tam dodieties uz Oracle Java lejupielādes lapu un paņemiet savā sistēmā jaunāko Java SE Development Kit 8 versiju, izmantojot čokurošanās komandu:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. Kad Java binārā lejupielāde ir pabeigta, instalējiet pakotni, izsniedzot šādu komandu:

# rpm -Uvh jdk-8u92-linux-x64.rpm

2. darbība: instalējiet Hadoop Framework CentOS 7

4. Pēc tam savā sistēmā izveidojiet jaunu lietotāja kontu bez root pilnvarām, ko mēs to izmantosim Hadoop instalācijas ceļam un darba videi. Jaunā konta mājas direktorija atradīsies direktorijā /opt/hadoop .

# useradd -d /opt/hadoop hadoop
# passwd hadoop

5. Nākamajā solī apmeklējiet Apache Hadoop lapu, lai iegūtu saiti uz jaunāko stabilo versiju un lejupielādētu arhīvu savā sistēmā.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

6. Izvelciet arhīvu, nokopējiet direktorija saturu uz hadoop konta mājas ceļu. Pārliecinieties, ka esat attiecīgi mainījis arī kopēto failu atļaujas.

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/

7. Pēc tam piesakieties ar hadoop lietotāju un konfigurējiet Hadoop un Java vides mainīgos savā sistēmā, rediģējot failu .bash_profile .

# su - hadoop
$ vi .bash_profile

Pievienojiet faila beigās šādas rindas:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. Tagad inicializējiet vides mainīgos un pārbaudiet to statusu, izsniedzot šādas komandas:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME

9. Visbeidzot, konfigurējiet hadoop konta ssh atslēgas autentifikāciju, izpildot zemāk norādītās komandas (attiecīgi nomainiet resursdatora nosaukumu vai FQDN pret komandu ssh-copy-id ).

Tāpat atstājiet ievadīto ieejas frāzi tukšu, lai automātiski pieteiktos, izmantojot ssh.

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan