Architektura

Architektura rozwiązania GoldenoreCDC wykorzystuje elementy ekosystemu Apache Kafka, które są odpowiedzialne za przetwarzanie danych. Charakterystycznymi cechami tej technologii jest m.in.:

• retencja na dysku -> pozwala na nieprzerwaną prace Producentów, w tym przypadków mechanizmów odpowiedzianych za wysyłanie danych do Kafki. W przypadku awarii Konsumerów, dane nadal są dostarczane do Kafki i nie mamy obawy, że zostaną utracone. Gdy Konsumer odzyska sprawność rozpocznie przesyłanie danych w miejscu, gdzie zakończył w momencie awarii.

• skalowalność -> pozwala na przechowywanie dowolnej ilości danych i rozszerzanie instancji brokerów w danym klastrze. Ważne jest, że operacje te można przeprowadzić w trybie online, który nie wpływa na działanie całego ekosystemu. Sprawia to także, że Kafka jest odporna na awarie. W momencie braku odpowiedzi od jednego z brokerów automatyczne jego przepływ jest przełączany na następny.

• wysoka wydajność -> wszystkie powyższe cechy sprawiają, że Kafka jest doskonałym narzędzie do przepływu ogromnej ilości danych przy minimalnym opóźnieniu.