Адаптер больших данных Oracle GoldenGate для Kafka Handler - PullRequest
Новая
       34

Адаптер больших данных Oracle GoldenGate для Kafka Handler

0 голосов
/ 03 октября 2018

Мой вопрос касается контрольной точки Kafka с репликатом, например, в асинхронном режиме производителя Kafka, репликация перемещена на 1-100 операций, скажем, какфка обработала 80 операций, на 81 Kafka отключился на час.После того, как Кафка запущена, репликат должен переместиться с 81-й операции.Как это происходит с обработчиком Kafka, потому что я не видел ни одной контрольной точки и логики сравнения, упомянутых где-либо на сайтах оракула GG bigdata адаптер.Какова гарантия того, что перезапуск репликации и адаптера начнется с 81-й операции.

1 Ответ

0 голосов
/ 17 ноября 2018

Проверка контрольных точек обрабатывается процессом репликации Goldengate в сочетании с адаптерами / обработчиками Kafka. Часть каталога установки Goldengate содержит подкаталоги для хранения файлов, связанных с процессом извлечения или репликации, и один из каталогов - dirchk. 

 dirchk:

Contains the checkpoint files created by Extract and Replicat processes,which store current read and write positions to support data accuracy and fault tolerance. Written in internal Oracle GoldenGate format.

    File name format is group_name+sequence_number.ext where sequence_number is a sequential number appended to aged files and ext is either cpe for Extract checkpoint files or cpr for Replicat checkpoint files.

            Do not edit these files.

            Examples:

            ext1.cpe

            rep1.cpr

Вы можете прочитать о подкаталогах в Goldengate из этой секции ссылок A.2

https://docs.oracle.com/goldengate/1212/gg-winux/GIMSS/installed_components.htm#GIMSS2361

Просмотрите команды, связанные с Goldengate или команды ggsci, по ссылке https://docs.oracle.com/goldengate/1212/gg-winux/GWURF/ggsci_commands.htm#GWURF884

Сверху ссылка Раздел 1.1.3, относящийся к репликации. Некоторые важные команды репликации - это репликация информации, репликация с задержкой, репликация синхронизации

Чтение раздела 10.2 Функциональность обработчиков Kafka, в которой объясняется проверка на указание

https://docs.oracle.com/goldengate/bd123210/gg-bd/GADBD/using-kafka-handler.htm#GADBD460

Устранение неполадок обработчиков Goldengate kafka не кем иным, как Робином Моффатом: -)

https://www.rittmanmead.com/blog/2016/09/using-logdump-to-debug-oracle-goldengate-and-kafka/

...