Nastavenie Kafky: 4 kroky

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:58

Úvod:

Apache Kafka je open-source škálovateľný a vysokovýkonný systém odosielania správ vyvinutý Apache Software Foundation napísaný v programe Scala. Apache Kafka je špeciálne navrhnutý tak, aby jeden klaster slúžil ako centrálna dátová chrbtica pre veľké prostredie. Má oveľa väčšiu priepustnosť v porovnaní s inými systémami sprostredkovateľov správ, ako sú ActiveMQ a RabbitMQ. Je schopný efektívne spracovať veľké objemy údajov v reálnom čase. Kafku môžete nasadiť na jednom serveri Apache alebo v distribuovanom klastrovom prostredí.

Vlastnosti:

Všeobecné vlastnosti Kafky sú nasledujúce:

Trvalá správa na disku, ktorá poskytuje konštantný časový výkon.

Vysoká priepustnosť s diskovými štruktúrami, ktoré podporujú státisíce správ za sekundu.

Distribuovaný systém sa dá ľahko škálovať bez prestojov.

Podporuje predplatiteľov s viacerými účastníkmi a automaticky vyvažuje zákazníkov v prípade zlyhania.

Tento tutoriál ukazuje, ako nainštalovať a nakonfigurovať Apache Kafka na serveri Ubuntu 16.04.

Požiadavky

Server Ubuntu 16.04.

Užívateľský účet bez oprávnení root s nastaveným oprávnením super používateľa na vašom serveri.

Krok 1: Začíname a inštalujem Javu

1) Začnime sa uistiť, že váš server Ubuntu 16.04 je úplne aktuálny

Server môžete aktualizovať spustením nasledujúcich príkazov:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Inštalácia Javy

Nasledujúcim príkazom skontrolujte, či je vo vašom počítači nainštalovaná java alebo má predvolenú verziu java:-

java -verzia

Aj keď máte javu, ale nižšiu verziu, budete ju musieť aktualizovať.

Java môžete nainštalovať:-

sudo apt-get install default-jdk

ALEBO

Oracle JDK 8 môžete nainštalovať pomocou archívu PPA tímu Webupd8.

Ak chcete pridať úložisko, spustite nasledujúci príkaz:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Krok 2: Nainštalujte Zookeeper

Čo je Zookeeper?

Zookeeper je centralizovaná služba na uchovávanie informácií o konfigurácii, pomenovávanie, poskytovanie distribuovanej synchronizácie a poskytovanie skupinových služieb. Všetky tieto druhy služieb používajú v tej či onej forme distribuované aplikácie. Zakaždým, keď sú implementované, je veľa práce, ktorá je potrebná k odstráneniu chýb a závodných podmienok, ktoré sú nevyhnutné. Vzhľadom na náročnosť implementácie týchto druhov služieb ich aplikácie spočiatku šetria, čo ich robí v prípade zmeny krehkými a ťažko zvládnuteľnými. Aj keď sú správne implementované, rôzne implementácie týchto služieb vedú k zložitosti riadenia pri nasadení aplikácií.

Pred inštaláciou Apache Kafka budete potrebovať dostupný a spustený zookeeper. ZooKeeper je služba s otvoreným zdrojovým kódom na uchovávanie konfiguračných informácií, poskytovanie distribuovanej synchronizácie, pomenovávanie a poskytovanie skupinových služieb.

1) Balíček Zookeeper je predvolene k dispozícii v predvolenom úložisku Ubuntu

Môžete ho nainštalovať spustením nasledujúceho príkazu:-

sudo apt-get install zookeeperd

Po dokončení inštalácie sa automaticky spustí ako démon. V predvolenom nastavení Zookeeper pobeží na porte 2181.

Môžete to otestovať spustením nasledujúceho príkazu:

netstat -ant | grep: 2181

Výstup by vám mal ukázať, že sa počúva port 2181.

Krok 3: Nainštalujte a spustite server Kafka

Teraz, keď sú nainštalované Java a ZooKeeper, je čas stiahnuť a extrahovať Kafku z webu Apache.

1) Na stiahnutie Kafky môžete použiť curl alebo wget: (Kafka verzia 0.10.1.1)

Na stiahnutie nastavenia kafky spustite nasledujúci príkaz:-

curl -O

ALEBO

wget

2) Vytvorte adresár pre Kafku

Ďalej vytvorte adresár pre inštaláciu Kafky:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Rozbaľte stiahnutý priečinok

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Zmeňte používateľské meno podľa svojho používateľského mena

4) Spustite server kafka

Ďalším krokom je spustenie servera Kafka, môžete ho spustiť spustením skriptu kafka-server-start.sh umiestneného v adresári /opt/kafka/kafka_2.11-0.10.1.1/bin/ pomocou nasledujúceho príkazu:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Skontrolujte, či server Kafka funguje správne

Teraz máte server Kafka spustený a počúvaný na porte 9092.

Teraz môžeme skontrolovať porty počúvania:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Krok 4: Otestujte svoj server Kafka

Teraz je načase skontrolovať, či server Kafka funguje správne.

1) Vytvorte novú tému

Na otestovanie Kafky vytvorte v Apache Kafka ukážkovú tému s názvom „testovanie“pomocou nasledujúceho príkazu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --vytvoriť --tématické testovanie --zabudovateľ localhost: 2181 --oddiely 1-faktor replikácie 1

2) Skontrolujte, či bola vaša téma úspešne vytvorená

Teraz požiadajte Zookeeper, aby vypísal dostupné témy o Apache Kafka spustením nasledujúceho príkazu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Uverejnite správu podľa témy, ktorú ste vytvorili

echo „ahoj svet“| /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092 --témické testovanie

4) Prijmite správu o vytvorenej téme

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --témové testovanie –od začiatku

5) Odoslanie súboru pomocou kafky na tému

kafka-console-producer.sh-broker-list localhost: 9092 –témové testovanie