Apache Nifi Не удалось записать в HDFS

Question

Я получаю следующую ошибку при попытке поместить файлы в HDFS с использованием процессора PutHDFS:

Я работаю с изолированной программной средой HortonWorks HDP и HDF (Docker-контейнеры).на винде).Кажется, это проблема Nifi, HDFS в порядке, я могу поставить / написать / прочитать на нем.

Я пытаюсь это исправить, но безрезультатно, я удалил образ HDP докера и получил новыйодин, но результата тоже нет.

Answer 1

Обычно эта ошибка означает, что все, что пишет в HDFS, смогло достичь наменода, но не смогло добраться до данододы.В вашем случае это, скорее всего, проблема конфигурации сети между двумя контейнерами.

Вы можете проверить это, исключив из сценария NiFi, и установить клиент Hadoop в контейнере, где работает NiFi, и попытаться использоватьКомандная строка Hadoop для записи файла в HDFS.Я ожидаю, что вы получите ту же ошибку.

Если это так, убедитесь, что вы можете пропинговать имя хоста datanode из контейнера HDF, убедитесь, что правильный порт открыт, и убедитесь, что datanode принимает соединения от всех хостов ине только от localhost.