---
description: >-
  Ułatwia szybkie definiowanie konektorów, które przenoszą duże zestawy danych
  do i z Kafki.
---

# KAFKA CONNECT

### Wykaz konektorów.&#x20;

| Nazwa konektora                                       | Wersja      | Typ    | Pełna nazwa                                           |
| ----------------------------------------------------- | ----------- | ------ | ----------------------------------------------------- |
| Oracle/ <mark style="color:blue;">debezium</mark>     | 2.1.2.Final | Source | io.debezium.connector.oracle.OracleConnector          |
| Postgres/ <mark style="color:blue;">debezium</mark>   | 2.1.2.Final | Source | io.debezium.connector.postgresql.PostgresConnector    |
| MySql/ <mark style="color:blue;">debezium</mark>      | 2.1.2.Final | Source | io.debezium.connector.mysql.MySqlConnector            |
| SqlServer/ <mark style="color:blue;">debezium</mark>  | 2.1.2.Final | Source | io.debezium.connector.sqlserver.SqlServerConnector    |
| Jdbc Sink                                             | 10.4.0      | Sink   | io.confluent.connect.jdbc.JdbcSinkConnector           |
| HDFS Connector                                        | 10.1.7      | Sink   | io.confluent.connect.hdfs.HdfsSinkConnector           |
| MirrorSource                                          | 7.3.0-ccs   | Sink   | org.apache.kafka.connect.mirror.MirrorSourceConnector |
| Snowflake                                             | 1.9.3       | Sink   | com.snowflake.kafka.connector.SnowflakeSinkConnector  |

#### Ścieżki przechowywania:

* Ścieżka dla konektorów w obrazie Kafka Connect : _<mark style="color:blue;">"/usr/share/java,/usr/share/confluent-hub-components"</mark>_

###



### Wykaz parametrów konfiguracyjnych

* <mark style="color:blue;">**`CONNECT_CONFIG_STORAGE_TOPIC`**</mark>**:** Nazwa tematu Kafka, w którym są przechowywane konfiguracje zadań Kafka Connect. Jest to kluczowe dla zapewnienia bezproblemowego przesyłania danych, ponieważ pozwala na przechowywanie informacji konfiguracyjnych w klastrze Kafka.
* <mark style="color:blue;">**`CONNECT_OFFSET_STORAGE_TOPIC`**</mark><mark style="color:blue;">**:**</mark> Nazwa tematu Kafka, w którym przechowywane są przesunięcia (offsets). Przesunięcia to punkty danych, które Kafka Connect zapisuje, aby śledzić, które dane zostały już przetworzone.
* <mark style="color:blue;">**`CONNECT_STATUS_STORAGE_TOPIC`**</mark><mark style="color:blue;">**:**</mark> Nazwa tematu Kafka, w którym przechowywane są informacje o statusie. Pozwala to na monitorowanie i zarządzanie postępem zadania Kafka Connect.
* <mark style="color:blue;">**`CONNECT_KEY_CONVERTER`**</mark><mark style="color:blue;">**&#x20;**</mark><mark style="color:blue;">**i**</mark><mark style="color:blue;">**&#x20;**</mark><mark style="color:blue;">**`CONNECT_VALUE_CONVERTER`**</mark><mark style="color:blue;">**:**</mark> Konwertery używane do serializacji i deserializacji kluczy i wartości. W tym przypadku używany jest `io.confluent.connect.avro.AvroConverter`, który konwertuje dane do formatu Avro, popularnego formatu danych do serializacji.
* <mark style="color:blue;">**`CONNECT_KEY_CONVERTER_SCHEMA_REGISTRY_URL`**</mark><mark style="color:blue;">**&#x20;**</mark><mark style="color:blue;">**i**</mark><mark style="color:blue;">**&#x20;**</mark><mark style="color:blue;">**`CONNECT_VALUE_CONVERTER_SCHEMA_REGISTRY_URL`**</mark>: Adresy URL rejestrów schematów używanych do przechowywania schematów Avro dla kluczy i wartości. Rejestr schematów to narzędzie, które pozwala na przechowywanie i dzielenie się schematami między różnymi usługami w ramach architektury opartej na mikrousługach.
* <mark style="color:blue;">**`CONNECT_LOG4J_ROOT_LOGLEVEL`**</mark><mark style="color:blue;">**:**</mark> Poziom logowania dla systemu logowania Apache Log4j, używanego w Kafka Connect. Może to być "INFO", "WARN", "ERROR", "DEBUG" itp., w zależności od tego, jak szczegółowe informacje chcemy otrzymywać. W tym przypadku ustawiono na "INFO", co oznacza, że będą logowane podstawowe informacje o działaniu systemu.







### Wolumeny&#x20;

Wolumeny w kafce connect służą do przekazywania komponentów, które nie są niezbędne w celu ponownego budowania abrazów bazowych.

Przekazywanie transformat (SMT) odbywa się poprzez przekazania pliku .jar do folderu _<mark style="color:blue;">/transforms</mark>_&#x20;

Przekazywanie jdbc niezbędnych do funkcjonowania poszczególnych konektorów do _<mark style="color:blue;">/external-jdbc</mark>_



{% hint style="warning" %}
JDBC dla oracla jest umieszczone już w obrazie bazowym Kafka Connect. W momencie gdy korzystamy z konektorów innej wersji Debeziuma należy dodać JDBC samodzielnie.
{% endhint %}



### Szczegóły kontenera

<table><thead><tr><th width="309">Właściwości</th><th>docker</th></tr></thead><tbody><tr><td>Nazwa obrazu</td><td>kafka-connect</td></tr><tr><td>Nazwa w repozytorium </td><td>goldenore/cdc/kafka/connect</td></tr><tr><td>Port </td><td>8083</td></tr><tr><td>Zależność</td><td>Zookeeper, Kafka, Kafka-schema-registry</td></tr></tbody></table>



{% hint style="info" %}
Obecna wersja : 2.1.2.7
{% endhint %}





