SCHEMA REGISTRY
Schema Registry jest usługą Confluent, która zarządza schematami Avro używanymi w Apache Kafka. Schema Registry jest kluczowy dla zapewnienia niezmienności schematów (backward and forward compatibility) w danych strumieniowych, co jest ważne w systemach, które używają Apache Kafka do przesyłania danych.
Zastosowanie przy źródle :
Debezium jest konektorem Kafka Connect, który przechwytuje zmiany w bazie danych i publikuje je jako strumienie zdarzeń w Apache Kafka. Debezium może konwertować te zmiany do formatu Avro i używać Schema Registry do przechowywania schematów tych zdarzeń. To pozwala na trwałe i niezmienne przechowywanie struktury danych, co jest kluczowe dla obsługi różnych wersji schematu. Dodatkowo wiadomości wysyłane do Kafki są mniejszej wielkości co wpływa pozytywnie na wydajność i przepustowość Kafki.
Zastosowanie przy celu :
JDBC Sink Connector jest konektorem Kafka Connect, który zapisuje dane z Apache Kafka do dowolnej bazy danych, która obsługuje JDBC. Może on odczytywać dane z Kafka w formacie Avro, używając schematu zapisanego w Schema Registry, aby prawidłowo zinterpretować dane. Dzięki temu, nawet jeśli schemat danych w Kafka zmieni się, JDBC Sink Connector będzie w stanie poprawnie przetwarzać dane, o ile zmiany są zgodne z poprzednim schematem (tzn. są zgodne wstecz lub do przodu). W momencie gdy dane są odbierane od kafki jest wysyłane żądanie do schema registry o daną wersje schematu dla poszczególnego rekordu.
Szczegóły kontenera
Nazwa obrazu
kafka-schema-registry
Nazwa w repozytorium
confluentinc/cp-schema-registry
Port
8081
Zależność
Zookeeper, Kafka
Last updated