nifi putHDFS пишет в локальную файловую систему - PullRequest
Новая
       19

nifi putHDFS пишет в локальную файловую систему

0 голосов
/ 27 мая 2018

Challenge

В настоящее время у меня есть два кластера hortonworks, кластер NIFI и кластер HDFS, и я хочу записывать в HDFS с использованием NIFI.

В кластере NIFI я использую простой подключенный GetFileв PutHDFS.

При проталкивании файла через него PutHDFS завершается успешно.Однако вместо того, чтобы увидеть, как файл сбрасывается на моей HFDS (в кластере HDFS), я просто вижу, как файл сбрасывается на локальную файловую систему, где я запускаю NIFI.

Это меня смущает, поэтому мой вопрос:

Как убедиться, что PutHDFS записывает в HDFS, а не в локальную файловую систему?

Возможно, соответствующий контекст:

  • В PutHDFS я связался с кустом-сайт и базовый сайт кластера HDFS (я попытался обновить все ссылки на сервер на имя HDFS, но безрезультатно)
  • Я не использую Kerberos в кластере HDFS (я использую его наКластер NIFI)
  • Я не видел ничего похожего на ошибку в журнале приложений NIFI (что имеет смысл, поскольку он успешно пишет, просто в неправильном месте)
  • Оба кластера были сгенерированы зановоAmazon AWS с CloudBreak и открытие всех узлов для всего трафика не помогло

1 Ответ

0 голосов
/ 10 июня 2018

Можете ли вы убедиться, что можете переместить файл с узла NiFi на Hadoop, используя следующую команду: - hadoop fs -put

Если вы можете переместить файл с помощью вышеуказанной команды, то вы должны проверить конфигурацию Hadoop.файл, который вы передаете в своем процессоре PutHDFS.

Кроме того, убедитесь, что у вас нет другого запущенного потока, чтобы убедиться, что никакой другой поток не обрабатывает этот файл.

...