SCHEMA REGISTRY

Schema Registry jest usługą Confluent, która zarządza schematami Avro używanymi w Apache Kafka. Schema Registry jest kluczowy dla zapewnienia niezmienności schematów (backward and forward compatibility) w danych strumieniowych, co jest ważne w systemach, które używają Apache Kafka do przesyłania danych.

Zastosowanie przy źródle :

Debezium jest konektorem Kafka Connect, który przechwytuje zmiany w bazie danych i publikuje je jako strumienie zdarzeń w Apache Kafka. Debezium może konwertować te zmiany do formatu Avro i używać Schema Registry do przechowywania schematów tych zdarzeń. To pozwala na trwałe i niezmienne przechowywanie struktury danych, co jest kluczowe dla obsługi różnych wersji schematu. Dodatkowo wiadomości wysyłane do Kafki są mniejszej wielkości co wpływa pozytywnie na wydajność i przepustowość Kafki.

Zastosowanie przy celu :

JDBC Sink Connector jest konektorem Kafka Connect, który zapisuje dane z Apache Kafka do dowolnej bazy danych, która obsługuje JDBC. Może on odczytywać dane z Kafka w formacie Avro, używając schematu zapisanego w Schema Registry, aby prawidłowo zinterpretować dane. Dzięki temu, nawet jeśli schemat danych w Kafka zmieni się, JDBC Sink Connector będzie w stanie poprawnie przetwarzać dane, o ile zmiany są zgodne z poprzednim schematem (tzn. są zgodne wstecz lub do przodu). W momencie gdy dane są odbierane od kafki jest wysyłane żądanie do schema registry o daną wersje schematu dla poszczególnego rekordu.

Szczegóły kontenera

Właściwości	docker
Nazwa obrazu	kafka-schema-registry
Nazwa w repozytorium	confluentinc/cp-schema-registry
Port	8081
Zależność	Zookeeper, Kafka