Кафка коннект не загружается HDFS сток коннектится вручную - PullRequest
Новая
       6

Кафка коннект не загружается HDFS сток коннектится вручную

0 голосов
/ 22 октября 2019

[2019-10-22 13: 36: 41,286] ОШИБКА Остановка после ошибки соединителя (org.apache.kafka.connect.cli.ConnectStandalone: ​​91) org.apache.kafka.common.config.ConfigException: недопустимое значение io.confluent.connect.hdfs3.Hdfs3SinkConnector для конфигурационного соединителя. Класс: Класс io.confluent.connect.hdfs3.Hdfs3SinkConnector не найден. в org.apache.kafka.common.config.ConfigDef.parseType (ConfigDef.java:255) в org.apache.kafka.common.config.ConfigDef.parse (ConfigDef.java:145) в org.apache.kafka.common.config.AbstractConfig. (AbstractConfig.java:49) в org.apache.kafka.common.config.AbstractConfig. (AbstractConfig.java:56) в org.apache.kafka.connect.runtime.ConnectorConfig. (ConnectorConfig.java:71) в org.apache.kafka.connect.runtime.standalone.StandaloneHerder.startConnector (StandaloneHerder.java:194) в org.apache.kafka.connect.runtime.standalone.StandaloneHerder.putConnectorConfig (Standalgone):.apache.kafka.connect.cli.ConnectStandalone.main (ConnectStandalone.java:85)

1) Я скачал confluentinc-kafka-connect-hdfs3-1.0.3-preview и распаковал папку /. usr / local / kafka / плагин на моем сервере. 2) Я работаю: ./bin/connect-standalone.sh ./config/hdfs-connect-standalone3.properties ./etc/quickstart-hdfs3.properties

etc / quickstart-hdfs3.properties:

name = hdfs-sink connector.class = io.confluent.connect.hdfs3.Hdfs3SinkConnector tasks.max = 1 themes = test_hdfs hdfs.url = file: /// usr / local / kafka / files flush.size= 3

/ config / hdfs-connect-standalone3.properties:

key.converter = org.apache.kafka.connect.json.JsonConverter value.converter = org.apache.kafka. connect.json.JsonConverter key.converter.schemas.enable = false value.converter.schemas.enable = false

internal.key.converter = org.apache.kafka.connect.json.JsonConverter internal.value. converter = org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable = false internal.value.converter.schemas.enable = false

offset.storage.file.filename = /tmp / connect.offsets offset.flush.interval.ms = 10000 plugin.path = / usr / local / kafka / plugins / lib, / usr / local / kafka / plugins / lib2, / USR / местные / Kafka / Библиотека

...