KAFKA CONNECT

Ułatwia szybkie definiowanie konektorów, które przenoszą duże zestawy danych do i z Kafki.

Wykaz konektorów.

Nazwa konektora	Wersja	Typ	Pełna nazwa
Oracle/ debezium	2.1.2.Final	Source	io.debezium.connector.oracle.OracleConnector
Postgres/ debezium	2.1.2.Final	Source	io.debezium.connector.postgresql.PostgresConnector
MySql/ debezium	2.1.2.Final	Source	io.debezium.connector.mysql.MySqlConnector
SqlServer/ debezium	2.1.2.Final	Source	io.debezium.connector.sqlserver.SqlServerConnector
Jdbc Sink	10.4.0	Sink	io.confluent.connect.jdbc.JdbcSinkConnector
HDFS Connector	10.1.7	Sink	io.confluent.connect.hdfs.HdfsSinkConnector
MirrorSource	7.3.0-ccs	Sink	org.apache.kafka.connect.mirror.MirrorSourceConnector
Snowflake	1.9.3	Sink	com.snowflake.kafka.connector.SnowflakeSinkConnector

Ścieżki przechowywania:

• Ścieżka dla konektorów w obrazie Kafka Connect : "/usr/share/java,/usr/share/confluent-hub-components"

Wykaz parametrów konfiguracyjnych

• CONNECT_CONFIG_STORAGE_TOPIC: Nazwa tematu Kafka, w którym są przechowywane konfiguracje zadań Kafka Connect. Jest to kluczowe dla zapewnienia bezproblemowego przesyłania danych, ponieważ pozwala na przechowywanie informacji konfiguracyjnych w klastrze Kafka.

• CONNECT_OFFSET_STORAGE_TOPIC: Nazwa tematu Kafka, w którym przechowywane są przesunięcia (offsets). Przesunięcia to punkty danych, które Kafka Connect zapisuje, aby śledzić, które dane zostały już przetworzone.

• CONNECT_STATUS_STORAGE_TOPIC: Nazwa tematu Kafka, w którym przechowywane są informacje o statusie. Pozwala to na monitorowanie i zarządzanie postępem zadania Kafka Connect.

• CONNECT_KEY_CONVERTER i CONNECT_VALUE_CONVERTER: Konwertery używane do serializacji i deserializacji kluczy i wartości. W tym przypadku używany jest io.confluent.connect.avro.AvroConverter, który konwertuje dane do formatu Avro, popularnego formatu danych do serializacji.

• CONNECT_KEY_CONVERTER_SCHEMA_REGISTRY_URL i CONNECT_VALUE_CONVERTER_SCHEMA_REGISTRY_URL: Adresy URL rejestrów schematów używanych do przechowywania schematów Avro dla kluczy i wartości. Rejestr schematów to narzędzie, które pozwala na przechowywanie i dzielenie się schematami między różnymi usługami w ramach architektury opartej na mikrousługach.

• CONNECT_LOG4J_ROOT_LOGLEVEL: Poziom logowania dla systemu logowania Apache Log4j, używanego w Kafka Connect. Może to być "INFO", "WARN", "ERROR", "DEBUG" itp., w zależności od tego, jak szczegółowe informacje chcemy otrzymywać. W tym przypadku ustawiono na "INFO", co oznacza, że będą logowane podstawowe informacje o działaniu systemu.

Wolumeny

Wolumeny w kafce connect służą do przekazywania komponentów, które nie są niezbędne w celu ponownego budowania abrazów bazowych.

Przekazywanie transformat (SMT) odbywa się poprzez przekazania pliku .jar do folderu /transforms

Przekazywanie jdbc niezbędnych do funkcjonowania poszczególnych konektorów do /external-jdbc

JDBC dla oracla jest umieszczone już w obrazie bazowym Kafka Connect. W momencie gdy korzystamy z konektorów innej wersji Debeziuma należy dodać JDBC samodzielnie.

Szczegóły kontenera

Właściwości	docker
Nazwa obrazu	kafka-connect
Nazwa w repozytorium	goldenore/cdc/kafka/connect
Port	8083
Zależność	Zookeeper, Kafka, Kafka-schema-registry

Obecna wersja : 2.1.2.7