У меня есть работа, где я загружаю около 5000 файлов.Я получаю ошибку
ERROR [main] mapreduce.LoadIncrementalHFiles (LoadIncrementalHFiles.java:doBulkLoad(452)) -
"Bulk load aborted with some files not yet loaded"
hdfs://..../file1
hdfs://...file2
Exception in thresad "main" java.io.IOException: Retry attempted 20 times without completing, bailing out
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:416)
..
Я уже увеличил количество повторных попыток с 10 до 20, и это снизило частоту сбоев, но не полностью исправлено.
Что такое средство устраненияза это?Может ли hadoop автоматически не определять количество разбиений, необходимое для каждого hfile, вместо того, чтобы последовательно создавать разбиения при попытке встраивания новых hfiles в регионы?