Kā instalēt Apache Kafka sistēmā CentOS/RHEL 7

Apache Kafka ir spēcīgs ziņojumapmaiņas motors, ko plaši izmanto BigData projektos un datu analīzes dzīves ciklā. Tā ir atvērtā koda platforma, lai izveidotu reāllaika datu straumēšanas cauruļvadus. Tā ir izplatīta publicēšanas-abonēšanas platforma ar uzticamību, mērogojamību un izturību.

Mums Kafka var būt kā atsevišķa vai kā kopa. Kafka saglabā straumēšanas datus, un tos var klasificēt kā tēmas. Tēmai būs vairāki nodalījumi, lai tā varētu apstrādāt patvaļīgu datu daudzumu. Tāpat mums var būt vairākas kļūdu tolerantu kopijas, kā tas ir HDFS. Kafka klasterī brokeris ir sastāvdaļa, kas saglabā publicētos datus.

Zookeeper ir obligāts pakalpojums, lai palaistu Kafka kopu, jo to izmanto, lai vadītu Kafka brokeru koordināciju. Zookeeper ir galvenā loma starp ražotāju un patērētāju, ja tas ir atbildīgs par visu brokeru stāvokļa uzturēšanu.

Šajā rakstā mēs paskaidrosim, kā instalēt Apache Kafka vienā mezglā CentOS 7 vai RHEL 7.

Apache Kafka instalēšana CentOS 7

1. Pirmkārt, jums jāinstalē Java savā sistēmā, lai bez kļūdām palaistu Apache Kafka. Tātad, instalējiet noklusējuma pieejamo Java versiju, izmantojot šo komandu yum, un pārbaudiet Java versiju, kā parādīts.

# yum -y install java-1.8.0-openjdk
# java -version

2. Pēc tam lejupielādējiet jaunāko stabilo Apache Kafka versiju no oficiālās vietnes vai izmantojiet šo komandu wget, lai to tieši lejupielādētu un izvilktu.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Izveidojiet simbolisku saiti kafka pakotnei, pēc tam failam .bash_profile pievienojiet Kafka vides ceļu un pēc tam inicializējiet to, kā parādīts.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Pēc tam palaidiet Zookeeper, kas ir iebūvēts kopā ar Kafka paketi. Tā kā tā ir viena mezgla kopa, varat palaist zooloģisko apkopi ar noklusējuma īpašībām.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Pārbaudiet, vai zookeeper ir pieejams, vai ne, vienkārši pa telnet uz Zookeeper 2181 portu.

# telnet localhost 2181

6. Sāciet Kafka ar noklusējuma īpašībām.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Pārbaudiet, vai Kafka ir pieejama, vai nē, vienkārši izmantojot telnet uz Kafka ostu 9092

# telnet localhost 9092

8. Pēc tam izveidojiet tēmas paraugu.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Uzskaitiet izveidoto tēmu.

# kafka-topics.sh --zookeeper localhost:2181 --list

Šajā rakstā mēs redzējām, kā instalēt viena mezgla Kafka kopu CentOS 7. Mēs redzēsim, kā instalēt daudz mezglu Kafka kopu nākamajā rakstā.