Я пытаюсь написать искровой фрейм данных, имеющий 23 миллиона строк, с фреймом данных, имеющим 0,5 млн строк, как
var A_P = p.join(a,Seq("Price_Primary","TerminologyID"),"left_outer")
, но я всегда получаю эту ошибку
Причина: org.apache.hadoop.ipc.RemoteException (java.io.IOException): файл /TAeven.base.jpg 475.jpg.0 узлов вместо minReplication (= 1).Работает 3 узла данных и ни один из узлов не исключен из этой операции.
Что может быть причиной этой ошибки?HDFS имеет 1 ТБ места, поэтому я не думаю, что это будет проблема с пространством в HDFS.Пожалуйста, помогите мне здесь.