Почему GCS Connector создает каталог разделов Kafka в GCS, но не записывает данные kafka topi c - PullRequest
Новая
       86

Почему GCS Connector создает каталог разделов Kafka в GCS, но не записывает данные kafka topi c

0 голосов
/ 21 февраля 2020

Я новичок ie с разъемом Confluent GCS. Я следовал документации, изложенной в https://docs.confluent.io/4.1.2/connect/kafka-connect-gcs/gcs_connector.html, и все идет по плану, за исключением данных Kafka topi c, не отображаемых в корзине GCS. Здесь есть структура каталогов, которая напоминает имя kafka topi c, но не содержит фактических записей topi c. Я использую файл свойств по умолчанию, включенный в вышеупомянутую документацию для схемы формата Avro и с размером flu sh 3. Я загрузил файл учетных данных и виден из экземпляра виртуальной машины. Я также могу скопировать локальные файлы из своего экземпляра виртуальной машины Google в корзину, чтобы знать, что у меня есть правильные разрешения. 

{"name": "gcs",
  "config": {
    "connector.class": "io.confluent.connect.gcs.GcsSinkConnector",
    "tasks.max": "1",
    "topics": "gcs_topic",
    "gcs.bucket.name": "#bucket-name",
    "gcs.part.size": "5242880",
    "flush.size": "3",
    "gcs.credentials.path": "#/path/to/credentials/keys.json",
    "storage.class": "io.confluent.connect.gcs.storage.GcsStorage",
    "format.class": "io.confluent.connect.gcs.format.avro.AvroFormat",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "NONE",
    "confluent.topic.bootstrap.servers": "localhost:9092",
    "confluent.topic.replication.factor": "1",
    "name": "gcs"
  },
  "tasks": [],
  "type": null
}

Файл свойств подключения выглядит следующим образом: 

bootstrap.servers=localhost:9092
group.id=connect-cluster
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://localhost:8081
config.storage.topic=connect-configs
offset.storage.topic=connect-offsets
status.storage.topic=connect-statuses
config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
Plugin.path=~/confluent/share/java,~/confluent/share/confluent-hub-components,~/confluent/etc,~/confluent/etc/
rest.extension.classes=io.confluent.connect.replicator.monitoring.ReplicatorMonitoringExtension
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
...