Проблема настройки коннектора Snowflake Kafka - PullRequest
Новая
       86

Проблема настройки коннектора Snowflake Kafka

0 голосов
/ 15 октября 2019

Я следую инструкциям в этом руководстве. Snowflake Connector для Kafka

Получаемое сообщение об ошибке:

BadRequestException: Connector config {.....} не содержит тип соединителя

Я запускаю команду как 

sh kafka_2.12-2.3.0/bin/connect-standalone.sh connect-standalone.properties snowflake_kafka_config.json

мои файлы конфигурации

connect-standalone.properties 

bootstrap.servers=localhost:9092
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter

key.converter.schemas.enable=true
value.converter.schemas.enable=true

offset.storage.file.filename=/tmp/connect.offsets
offset.flush.interval.ms=10000

plugin.path=/Users/kafka_test/kafka

файл jar snowflake-kafka-connector-0.5.1.jar находится в plugin.path

snowke_kafka_config.json 

{
  "name":"Kafka_Test",
  "Config":{
    "connector.class":"com.snowflake.kafka.connector.SnowflakeSinkConnector",
    "tasks.max":"8",
    "topics":"test",
    "snowflake.topic2table.map": "",
    "buffer.count.records":"1",
    "buffer.flush.time":"60",
    "buffer.size.bytes":"65536",
    "snowflake.url.name":"<url>",
    "snowflake.user.name":"<user_name>",
    "snowflake.private.key":"<private_key>",
    "snowflake.private.key.passphrase":"<pass_phrase>",
    "snowflake.database.name":"<db>",
    "snowflake.schema.name":"<schema>",
    "key.converter":"org.apache.kafka.connect.storage.StringConverter",
    "value.converter":"com.snowflake.kafka.connector.records.SnowflakeJsonConverter",
    "value.converter.schema.registry.url":"",
    "value.converter.basic.auth.credentials.source":"",
    "value.converter.basic.auth.user.info":""
  }
}

Кафка работает на локальном компьютере, у меня есть производитель и потребитель,можно видеть, как текут данные.

1 Ответ

0 голосов
/ 15 октября 2019

Это тот же вопрос, на который я ответил в Confluent community Slack , но я также опубликую его здесь для справки: -)

Журнал подключенного рабочего показываетто, что загружается сам JAR-файл коннектора, поэтому 'не содержит тип коннектора', потому что форматирование вашей конфигурации - fubar.

Вы работаете в автономном режиме, но передаете файл JSON, который не будет. Мое личное мнение всегда использовать распределенный, даже если только один его узел. Проверьте это, если вам нужно резюме по сравнению с распределенным: http://rmoff.dev/ksldn19-kafka-connect

Если вы должны использовать автономный, то вам нужно, чтобы ваша конфигурация соединителя (snowflake_kafka_config.json) была файлом свойств, подобным этому: 

param1=argument1
param2=argument2

Вы можете увидеть действительные примеры JSON (если вы используете распределенный режим) здесь: https://github.com/confluentinc/demo-scene/blob/master/kafka-connect-zero-to-hero/demo_zero-to-hero-with-kafka-connect.adoc#stream-data-from-kafka-to-elasticsearch

...