Как я могу настроить обработчик kafka connect в OGG для Hdfs - PullRequest
0 голосов
/ 13 мая 2019

Я делаю POC при переносе данных из Oracle db в файловую систему Hadoop с использованием Kafka (новинка в этом).Я настроил свой экстракт на oracle db, и он публикует изменения, сделанные в моей исходной таблице, для моего потребителя обработчика kafka, и я могу видеть данные по моей теме.Теперь я хочу сделать то же самое на обработчике kafka connect и хочу, чтобы схема и данные были в моем файле hdfs.Я знаю, что могу настроить обработчик kafka для чтения моих файлов экстракта.Но куда я могу поместить информацию о моих целевых hdf-файлах, чтобы kafka могла записывать данные в hdf-файлы?

1 Ответ

0 голосов
/ 13 мая 2019
  1. Поток из Oracle в Kafka с использованием обработчика OGG Kafka Connect. Примеры здесь и здесь . Также есть обработчик Кафки, если хотите. Подробнее здесь .
  2. Поток из Кафки в HDFS с использованием kafka-connect-hdfs
...