Kafka FileStreamSinkConnector воссоздал файл для записи после того, как он был удален мной - PullRequest
0 голосов
/ 05 мая 2020

Хорошо, это необычно.

Я сделал коннектор приемника потока файлов следующим образом:

curl -X POST http://cpnode.local.lan:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"file-sink-connector-002",
  "config": {
    "tasks.max":"1",
    "batch.size":"1000",
    "batch.max.rows":"1000",
    "poll.interval.ms":"500",
    "connector.class":"org.apache.kafka.connect.file.FileStreamSinkConnector",
    "file":"/kafka/names.txt",    
    "table.name.format":"tb_sensordata",
    "topics":"names",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "key.converter.schemas.enable":"false",
    "value.converter": "org.apache.kafka.connect.storage.StringConverter",
    "key.converter.schemas.enable":"false"
  }
}'

Пока коннектор работал, я удалил файл имена .txt

Примерно через час ..... Он воссоздал файл .....

Я запустил производитель консоли и создал некоторые данные в топах c . Разъем стока записал данные в файл.

Кто-нибудь может объяснить такое поведение .... плз.

1 Ответ

1 голос
/ 05 мая 2020

Согласно этому pull request (MINOR: добавить или создать файл в FileStreamSinkTask # 5406) ​​файл, упомянутый в FileStreamSinkConnector, будет создан kafka-connect, если он не существует.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...