Как отправить данные на AWS S3 из Kafka с помощью Kakfa Connect без Confluent? - PullRequest
0 голосов
/ 03 августа 2020

У меня есть локальный экземпляр Apache Kafka 2.0.0, он работает очень хорошо. В своем тесте я создаю и использую данные из твиттера и помещаю их в специфику c topi c twitter_tweets , и все в порядке. Но теперь я хочу использовать topi c twitter_tweets с помощью Kafka Connect, используя de connector Kafka Connect S3 , и, очевидно, сохранить данные в AWS S3 без использования Confluent-CLI.

Могу ли я сделать это без Confluent? У кого-нибудь есть пример или что-то, что может мне помочь?

1 Ответ

0 голосов
/ 04 августа 2020

без Confluent

S3 Sink с открытым исходным кодом; так и Apache Kafka Connect.

Фреймворк Connect не указан c в Confluent

Вы можете использовать изображение Kafka Connect Docker, например, или confluent-hub для установки S3 Connect в вашей собственной установке Kafka Connect.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...