Moduły Goldenore CDC
Last updated
Last updated
Docker automatycznie stanowi dla wszystkich wyżej wymienionych kontenerów podsieć, która nie jest dostępna dla nikogo z zewnątrz. Dla zewnętrznego dostępu udostępnione są jedynie porty dla CDC-FRONTEND oraz GRAFANA, które stanowią interfejs GUI dla użytkownika.
Goldenore CDC oparty jest o architekturę mikro serwisów. Składa się z 14 kontenerów, które współpracują ze sobą.
Kafka: broker wiadomości, którego zadanie to umożliwienie obsługi danych czasu rzeczywistego pochodzących z wielu węzłów.
Kafka Connect: To narzędzie do przenoszenia danych między systemami, umożliwiające wdrożenie, konfigurację i zarządzanie połączeniami między różnymi źródłami danych a celami.
Zookeeper: Jest częścią infrastruktury Kafka i służy do przechowywania informacji o konfiguracji klastra Kafka oraz koordynacji pracy brokerów Kafka.
Schema Registry: Pozwala na weryfikację i walidację danych przy użyciu zdefiniowanych schematów, co zapewnia spójność i niezawodność przetwarzania danych.
Jmx Kafka: Narzędzie do skrapowania metryk z klastra Kafki.
Prometheus: Narzędzie to zbierania i przechowywania metryk, które są dostarczone przez Jmx Kafka.
Grafana: Interaktywny narzędzie do wizualizacji i monitorowania metryk oraz logów z różnych źródeł danych.
CDC BACKEND: Serwis odpowiedzialny za komunikację z CDC FRONTEND. Stanowi Gateway do zarządzania komunikacją pomiędzy mikro serwisami oraz zaimplementowaną logikę do najważniejszych funkcji systemu.
CDC FRONTEND: Serwis napisany przy użyciu frameworku React. Jest interfejs graficzny dla użytkowników.
CDC DDL: Serwis odpowiedzialny za kontrolowanie i zarządzanie zmianami DDL na bazie danych.
CDC ALERTING: Serwis odpowiedzialny za tworzenie alertów z wykorzystaniem Grafany.
CDC COMMUNICATION: Serwis odpowiedzialny za zarządzanie topicami Kafki oraz podgląd danych, a także za zmianę ofsetów na konkretnych topikach.
CDC COMPARE: Serwis odpowiedzialny za badanie spójności danej replikacji.
CDC WIZZARD (BETA): Serwis odpowiedzialny za wykonywanie, przetwarzanie oraz wizualizacje danych potrzebnych do wystartowania replikacji.
