Spark + ShuffleBlockFetcherIterator + Не удалось создать поток ввода из локального блока - PullRequest
Новая
       83

Spark + ShuffleBlockFetcherIterator + Не удалось создать поток ввода из локального блока

0 голосов
/ 30 января 2020

В нашем приложении spark, работающем в кластерном режиме, я получаю исключение 

ERROR [org.apache.spark.storage.ShuffleBlockFetcherIterator] Failed to create input stream from local block
java.io.IOException: Error in opening FileSegmentManagedBuffer{file=/data/sdb/hadoop/yarn/local/usercache/hdfs/appcache/app_43857835_354355/blockmgr-2327424242/shuffle_323_3_0.data, offset=11232324, length=4364662}
    at org.apache.spark.network.buffer.FileSegmentManagedBuffer.createInputStream(FileSegmentManagedBuffer.java:114)
    at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:401)
Caused by: java.nio.file.NoSuchFileException

, так как вышеприведенная ошибка говорит: «Не удалось создать входной поток из локального блока

» это может быть проблема файловой системы HDFS?

, если нет - Кто-нибудь может знать, что является основной причиной этой ошибки и как ее устранить?

...