Почему увеличение репликации промежуточных файлов MapReduce до 10? - PullRequest
0 голосов
/ 27 сентября 2019

Я заметил, что когда я запускаю задание Hadoop MapReduce, HDFS говорит, что для моих промежуточных файлов увеличивается репликация с 2 до 10, например:

org.apache.hadoop.hdfs.server.namenode.FSDirectory: Increasing replication from 2 to 10 for /tmp/hadoop-yarn/staging/xxx/.staging/job_123456789_0123/libjars/guava-11.0.2.jar

В моем кластере по умолчанию используется 2 репликации, и мне интересно, почему это так?хочет увеличить его до 10?

...