Как присоединиться к Kafka KStream с простым файловым кешем в Azure Cloud? - PullRequest
Новая
       1

Как присоединиться к Kafka KStream с простым файловым кешем в Azure Cloud?

0 голосов
/ 13 сентября 2018

Я занимаюсь разработкой журнала Kafka Stream. Планируется использовать файловый кэш в BLOB-объекте Azure для обогащения записи в журнале Kafka KStream. Насколько я понимаю, мне нужно загрузить файл кэша из BLOB-объекта Azure в таблицу KTable. Тогда я могу присоединиться к KStream с помощью KTable.

Как новичок, я столкнулся с двумя трудностями, кто-нибудь может дать мне подсказку?

  1. Похоже, у Kafka Connect нет библиотеки lib для подключения к BLOB-объектам Azure. Нужно ли писать другую отдельную работу, чтобы всегда читать из Azure и записывать обратно в KTable? Есть ли быстрый способ?

  2. Кэш обновлялся четыре-пять раз в день, и задание должно обнаружить изменение файла кэша и отразить его в KTable. Чтобы определить, удалены ли некоторые записи из файла кэша, нужно ли мне сравнивать каждую запись между таблицей KTable и файлом своевременно? Есть ли более эффективный способ?

Спасибо

1 Ответ

0 голосов
/ 15 сентября 2018

Есть несколько способов приблизиться к этому. Первое, что вам нужно понять, это то, что вам нужно сначала поместить данные в тему Kafka, если вы хотите прочитать их в KTable.

Если коннектора нет, вы можете написать свой собственный коннектор (https://docs.confluent.io/current/connect/devguide.html).). В качестве альтернативы можно написать небольшое приложение, которое считывает данные из Azure и использует KafkaProducer для записи в тему. .

Для обновления KTable вам не нужно беспокоиться об этом с точки зрения Kafka Streams. Если в тему записываются новые данные, KTable будет обновляться автоматически. Если вы напишите свой собственный соединитель, это также обеспечит автоматическое распространение обновления файла в теме. Если вы пишете свое собственное приложение, вам необходимо убедиться, что это приложение записывает изменения в тему.

...