Kafka Connect S3 Динамическая структура папки S3 Создание? - PullRequest
Новая
       19

Kafka Connect S3 Динамическая структура папки S3 Создание?

1 голос
/ 24 апреля 2019

У меня установлен вручную Confluent Kafka Connect S3 с использованием автономного метода, а не с помощью процесса Confluent или как часть всей платформы.

Я могу успешно запустить соединитель из командной строкис помощью команды: 

./kafka_2.11-2.1.0/bin/connect-standalone.sh connect.properties s3-sink.properties

Смещения темы CDC от AWS MSK можно увидеть использованными.Ошибки не выбрасываются.Однако в AWS S3 структура папок для новых данных не создается, а данные JSON не сохраняются.

Вопросы

  1. Если соединитель динамически создает папкуструктура, как он видит первый пакет JSON для темы?
  2. Помимо настройки учетных данных awscli, connect.properties и s3-sink.properties, есть ли другие параметры, которые необходимо установить для правильного подключения к корзине S3?
  3. Рекомендации по установке документации более полны, чем отдельные документы на веб-сайте Confluent?(ссылка выше)

connect.properties

bootstrap.servers = отредактировано: 9092, отредактировано: 9092, отредактировано: 9092

plugin.path = / plugins / kafka-connect-s3 key.converter = org.apache.kafka.connect.json.JsonConverter value.converter = org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable = false value.converter.schemas.enable = false internal.key.converter = org.apache.kafka.connect.json.JsonConverter internal.value.converter = org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable = false internal.value.converter.schemas.enable = false offset.storage.file.filename = / tmp / connect.offsets

s3-sink.properties

name = s3-мойка connector.class = io.confluent.connect.s3.S3SinkConnector tasks.max = 1 разделы = database_schema_topic1, database_schema_topic2, database_schema_topic3 ​​s3.region = us-east-2s3.bucket.name = databasekafka s3.part.size = 5242880 flush.size = 1 storage.class = io.confluent.connect.s3.storage.S3Storage format.class = io.confluent.connect.s3.format.json.JsonFormat schema.generator.class = io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator partitioner.class = io.confluent.connect.storage.partitioner.DefaultPartitioner schema.compatibility = NONE

1 Ответ

1 голос
/ 24 апреля 2019

Должен ли соединитель динамически создавать структуру папок, когда он видит первый пакет JSON для темы? Да, даже вы управляете этим путем (структурой каталогов), используя параметры "themes.dir" и "path.format "

Кроме настройки учетных данных awscli, connect.properties и s3-sink.properties есть ли другие параметры, которые необходимо установить для правильного подключения к корзине S3? По умолчаниюСоединитель S3 будет использовать учетные данные Aws (идентификатор доступа и секретный ключ) через переменные среды или файл учетных данных.Вы можете изменить, изменив параметр "s3.credentials.provider.class".Значение по умолчанию для этого параметра: «DefaultAWSCredentialsProviderChain»

Рекомендации по установке документации более полные, чем отдельные документы на веб-сайте Confluent?(ссылка выше) Я рекомендую вам использовать распределенный режим, поскольку он обеспечивает высокую доступность для вашего кластера соединений и работающих на нем коннекторов.Вы можете перейти к документации ниже, чтобы настроить кластер подключения в распределенном режиме.https://docs.confluent.io/current/connect/userguide.html#connect-userguide-dist-worker-config

...