Storm HDFS блокировка файла от NiFi

Question

пытаюсь использовать шторм HDFS spout, у меня Apache Nifi перемещает файлы в каталог HDFS, где шторм слушает, но как только apache nifi начинает перемещать файл, шторм это чувствует и начинает обработку, отмечая, что файл не имеетбыл полностью перемещен.

Я пытался использовать conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix) со стороны шторма и apache nifi updateAttribute, чтобы переименовать файл в .ignore Мне нужно переименовать файл после полного перемещения, как я могу это сделать?достичь этого?или есть другой способ?

Answer 1

При записи в HDFS, NiFi запишет файл с именем файла, содержащим точку в начале, например ".foo.txt", а когда операция записи будет завершена, он переименует его в имя без точки, например "foo". текст". Поэтому, если у Storm есть способ игнорировать префикс, вы можете игнорировать все, что начинается с точки.