NiFi moveHDFS процессор, похоже, ничего не делает

Question

Простая попытка автоматизировать перемещение файлов из одного каталога HDFS в другой. Делаем это с процессором moveHDFS в Apache NiFi, но при запуске процессора ничего не происходит.

Показатели процессора остаются на нуле после долгого времени и просмотр доски объявлений не показывает ошибок (уровень ведения журнала установлен на INFO), единственный вывод журнала на доске объявлений:

14:50:04 HSTINFO1e637d0d-0163-1000-7bde-a7993ae403e8
MoveHDFS[id=1e637d0d-0163-1000-7bde-a7993ae403e8] Initialized a new HDFS File System with working dir: file:/home/mapr/nifi-1.6.0 default block size: 33554432 default replication: 1 config: Configuration: core-default.xml, core-site.xml, mapred-default.xml, mapred-site.xml, yarn-default.xml, yarn-site.xml, hdfs-default.xml, hdfs-site.xml, /opt/mapr/hadoop/hadoop-2.7.0/etc/hadoop/core-site.xml, /opt/mapr/hadoop/hadoop-2.7.0/etc/hadoop/hdfs-site.xml

(Кстати, почему он говорит «Инициализировал новую файловую систему HDFS»? Разве он не должен использовать предоставленные файлы конфигурации hadoop для доступа к существующей HDFS в кластере hadoop?). Установите NiFi как один экземпляр на узле кластера hadoop и добавьте файлы core- и hdfs-site.xml к свойствам процессора по мере необходимости. Никогда раньше не использовал NiFi и подозреваю, что мне не хватает чего-то очевидного в правильной настройке потока здесь. Любой совет о том, что здесь происходит и как это исправить, будет принята с благодарностью. Спасибо.

Answer 1

Если бы вы могли поделиться большей частью вашего потока, это было бы полезно. Процессору MoveHDFS требуются входящие потоковые файлы для их обработки, поэтому любой процессор, генерирующий или получающий потоковые файлы, должен передавать их этому процессору. Показывает ли очередь какие-либо потоковые файлы в очереди? Процессор показывает, что за последние пять минут потоковые файлы не были прочитаны. Вы можете использовать ListHDFS или GenerateFlowFile для создания потоковых файлов, ожидаемых этим процессором.

Если это не проблема, вы также можете проверить расписание процессора, чтобы убедиться, что оно настроено на частую работу (оно должно быть управляемым событиями, но если таймер установлен и работает по какой-то причине, это может быть причиной такого поведения). ).

Что касается новой файловой системы HDFS, предоставили ли вы (правильные и полностью исправленные) файлы core-site.xml и hdfs-site.xml в свойствах процессора MoveHDFS? Если существующие файлы не найдены, будут созданы файлы по умолчанию. Полная документация доступна на сайте Apache NiFi .