Разъем HDFS-приемника: нет файловой системы для схемы: http

Question

Я использую документацию confluent, но когда я добавляю разъем hdfs-sink, я получаю эту ошибку:

Caused by: java.io.IOException: No FileSystem for scheme: http

Может ли кто-нибудь помочь мне, пожалуйста?

Answer 1

HDFS Sink connect не работает с URL-адресами HTTP (такими как HttpFs).

Вам необходимо указать поддерживаемую совместимую с Hadoop файловую систему , например

• hdfs: //
• file: // (Будет записывать на локальный диск отдельных сотрудников Connect в распределенном режиме, лучше всего работает только в автономном режиме)
• s3a: // (Предполагается, что hadoop-aws на CLASSPATH)
• wasb: // (Предполагается, что hadoop-azure на CLASSPATH)