Как определяется коэффициент репликации HDFS? - PullRequest
0 голосов
/ 02 февраля 2012

Коэффициент репликации в HDFS должен быть не менее 3. Несмотря на то, что основной целью его выбора является 3 - отказоустойчивость, а вероятность отказа стойки намного меньше, чем вероятность отказа узла, есть ли еще одна причина, по которой фактор репликации должен быть не менее 3?

1 Ответ

3 голосов
/ 02 февраля 2012

Нет причины, по которой коэффициент репликации должен быть равен 3, то есть по умолчанию, который поставляется с hadoop. Вы можете установить уровень репликации отдельно для каждого файла в HDFS. В дополнение к отказоустойчивости наличие реплик позволяет параллельно выполнять задания, использующие одни и те же данные. Также, если есть реплики данных, hasoop может попытаться запустить несколько копий одной и той же задачи и выполнить операцию, которая когда-либо заканчивается первой. Это полезно, если по какой-то причине ящик работает медленно.

...