KAFKA
Apache Kafka – broker wiadomości dostępny jako otwarte oprogramowanie. Cel przedsięwzięcia to umożliwienie obsługi danych czasu rzeczywistego pochodzących z wielu węzłów.
Czym jest Kafka?
Apache Kafka to rozproszony system przetwarzania strumieniowego, który umożliwia wysyłanie, przechowywanie i przetwarzanie dużej ilości danych w czasie rzeczywistym.
Dlaczego warto używać Kafki?
Kafka zapewnia wysoką przepustowość i niskie opóźnienia, co jest kluczowe dla przetwarzania strumieniowego.
Elastyczność i skalowalność Kafka umożliwiają obsługę dużych ilości danych i dynamiczną rozbudowę klastra.
Kafka jest odporna na awarie, dzięki replikacji danych i automatycznemu przydzielaniu partycji.
Przypadki użycia
Przetwarzanie strumieniowe
Analiza w czasie rzeczywistym
Logi zdarzeń i audytu
Integracja systemów
Kolejkowanie i przesyłanie wiadomości
Przechowywanie danych
Broker Kafki
Broker Kafka to pojedynczy serwer, który obsługuje przesyłanie, przechowywanie i przetwarzanie danych w klastrze Kafka. Pełni rolę pośrednika między producentami a konsumentami, umożliwiając przesyłanie wiadomości w systemie Kafka. Broker przechowuje partycje tematów i obsługuje zapisywanie, odczytywanie i replikację danych. Klastry Kafka mogą składać się z wielu brokerów, które można dodawać lub usuwać w celu dostosowania pojemności i wydajności systemu. Zarządzanie brokerami obejmuje ich konfigurację, monitorowanie i skalowanie w zależności od potrzeb.
1.0.0
3.0.0
7.1.1
Parametry konfiguracyjne
broker.id: Unikalny identyfikator brokera w klastrze Kafka.listeners: Adresy i porty, na których broker nasłuchuje połączeń od producentów i konsumentów.advertised.listeners: Zewnętrzne adresy i porty, które są udostępniane producentom i konsumentom do komunikacji z brokerem.log.dirs: Ścieżka do katalogu, w którym broker przechowuje swoje dane, w tym partycje tematów.num.partitions: Domyślna liczba partycji tworzonych dla nowego tematu.default.replication.factor: Domyślna liczba replik partycji.offsets.topic.replication.factor: Liczba replik dla tematu offsets, który przechowuje informacje o przesunięciach offsetów konsumentów.transaction.state.log.replication.factor: Liczba replik dla tematu transaction state log, który przechowuje informacje o stanach transakcji.min.insync.replicas: Minimalna liczba replik, które muszą potwierdzić zapis, aby uznano go za zakończony sukcesem.auto.create.topics.enable: Określa, czy automatyczne tworzenie tematów jest włączone.
Każdy topic posiada jedynie jedną partycje w celu zachowania kolejności przetwarzania eventów.
Potencjalne rozwój.
Przejście na wersje Kafka Kraft ( bez Zookeepera)
Last updated