Kafka соединяется с ошибкой коннектора HDFS Sink

Question

Я использую версию 1.1 Kafka с подключением Kafka, и я сталкиваюсь с ошибкой, которую не понимаю.Я не могу подключиться к HDFS, если я настроил что-то вроде этого:

hdfs.url": "/user/myuser/mydirectory" 

или что-то подобное (обратите внимание, что нет порта):

hdfs.url": "hdfs://hostname/user/myuser/mydirectory" 

У меня есть эта ошибка:

state: "FAILED",
trace: "java.lang.NullPointerException 
   at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177) 
   at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170) 
   at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214) 
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
   at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)

Это нормально?Я что-то упустил в документации?Не могли бы вы мне помочь, пожалуйста?Я не нахожу ответа и не могу назвать равнодушными мои наменоды.

Answer 1

Решение заключается в том, что в моей конфигурации отсутствовал "hadoop.conf.dir".

Мне пришлось добавить его, потому что я работаю с HDFS в режиме высокой доступности.