Файловые блоки на HDFS - PullRequest
       44

Файловые блоки на HDFS

1 голос
/ 04 февраля 2011

Гарантирует ли Hadoop, что разные блоки из одного файла будут храниться на разных машинах в кластере? Очевидно, реплицированные блоки будут на разных машинах.

Ответы [ 4 ]

1 голос
/ 04 февраля 2011

Нет. Если вы посмотрите Руководство по архитектуре HDFS , вы увидите (на диаграмме), что файл part-1 имеет коэффициент репликации 3 и состоит из трех блоков, обозначенных 2, 4 и 5. Обратите внимание, что блоки 2 и 5 находятся на одном датоделе в одном случае.

0 голосов
/ 04 февраля 2011

Ну, Hadoop не гарантирует этого. Так как это огромная потеря безопасности, если вы запрашиваете файл в задании, сбойный датодан вызовет сбой всего задания. Просто потому, что блок недоступен. Не могу представить себе вариант использования вашего вопроса, может, вы скажете немного больше, чтобы понять, что вы на самом деле хотели.

0 голосов
/ 04 февраля 2011

наоборот я думаю.За исключением репликации, каждый узел данных сохраняет каждый блок данных как собственный файл в локальной файловой системе.

0 голосов
/ 04 февраля 2011
...