Я вижу следующую ошибку, когда пытаюсь обработать большой файл размером более 35 ГБ, но не происходит, когда я пытаюсь использовать менее большой файл размером менее 10 ГБ.
App > Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#30
App > at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
App > at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
App > at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:165)
App > at java.security.AccessController.doPrivileged(Native Method)
App > at javax.security.auth.Subject.doAs(Subject.java:422)
App > at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1635)
App > at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:160)
App > Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
Работа по-прежнемуфинишировать в qubole, так как я думаю, что qubole повторяет шаг сокращения.
Но мне было интересно, есть ли такая настройка, чтобы я вообще мог избежать ошибок, чтобы работа по сокращению не повторялась.
App > Failed reduce tasks=54