Проблема с локальным файлом на HDFS

Question

Я использую Hadoop на AWS со Spark. Выполнение этой команды:

hdfs dfs -put testfile 

дает мне эту ошибку:

18/08/29 02:59:06 WARN hdfs.DataStreamer: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ubuntu/testfile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.

и вот файл журнала:

29 августа 03:31 hadoop-ubuntu-namenode-ambari.master.com.log

Может кто-нибудь сказать мне, что здесь происходит? Спасибо.

Answer 1

Я думаю, это потому, что я забыл установить ограничение сети в настройках сети AWS, поэтому datanode не может подключиться к namenode. Я прошу прощения за эту глупую ошибку, брат вам. Я вчера изменил настройки сети, и это сработало.