Kafka File Streaming с файлом CSV, расположенным на удаленной машине? - PullRequest
Новая
       61

Kafka File Streaming с файлом CSV, расположенным на удаленной машине?

0 голосов
/ 19 сентября 2019

Я использую kafka_2.12-2.3.0.
Я установил hava kafka на мою CentOS Linux Machine и предположим, что IP (aaaa).Я хочу запустить kafka FileStreamSource из (aaaa) в CSV-файл, размещенный на удаленной машине, и предположим, что IP (bbbb).

мой код connect-file-source.properties 

name=shopfile
connector.class=FileStreamSource
tasks.max=1
file=//xxxxxx/xxx/ABC.csv   
topic=shop_topic

После запуска 

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties

я получаю сообщение об ошибке 

[2019-09-19 21:34:30,790] WARN Couldn't find file //xxxxxx/xxx/ABC.csv  for FileStreamSourceTask, sleeping to wait for it to be created (org.apache.kafka.connect.file.FileStreamSourceTask:109)
[2019-09-19 21:34:31,790] WARN Couldn't find file //xxxxxx/xxx/ABC.csv  for FileStreamSourceTask, sleeping to wait for it to be created (org.apache.kafka.connect.file.FileStreamSourceTask:109)
[2019-09-19 21:34:32,791] WARN Couldn't find file //xxxxxx/xxx/ABC.csv for FileStreamSourceTask, sleeping to wait for it to be created (org.apache.kafka.connect.file.FileStreamSourceTask:109)

Однако этот код работает нормально на моей машине с Windows.Пожалуйста, помогите мне ...

1 Ответ

0 голосов
/ 19 сентября 2019

Это не поддерживается FileStreamSource.

Вы можете попытаться установить исходный соединитель FTP и настроить FTP-сервер для отображения вашего файла.https://github.com/Eneco/kafka-connect-ftp

...