Поврежденные файлы HDFS, вызывающие InvocationTargetException с Flume - PullRequest
0 голосов
/ 02 октября 2019

Я использую flume для передачи данных от потребителя kafka в приемник hdfs. Когда данные сбрасываются в hdfs, появляется много поврежденных файлов hdfs, таких как .tmp, 0Byte и .upgrade, которые не являются файлами Sequence. Я сталкиваюсь с проблемой каждый раз, когда я запускаю запросы кустов для этой внешней таблицы, используя этот путь hdfs. Я должен вручную пойти и удалить такие файлы. В наши дни это происходит довольно регулярно. Есть ли решение этих проблем?

...