У меня проблема с репликацией Hadoop на узлах данных - PullRequest
0 голосов
/ 21 февраля 2019

Пожалуйста, вы можете мне помочь?После настройки искрового интерпретатора для работы в кластере пряжи и установки минимальной и максимальной памяти в yarn-site.xml при попытке прочитать файлы CSV у меня появляется следующая ошибка:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1550738847656_0001/__spark_libs__572744842297153528.zip could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation

Вот моя командачитать файлы CSV:

val df = spark.read.option("header", "true").csv("file:///home/ia/Projet-Spark-ace/Donnees/Fichiers CSV/*.csv")

На главном компьютере экземпляры NameNode и ResourceManager работают.И на четырех ведомых экземплярах DataNode и NodeManager также работают.Что мне делать?

...