Hadoop разделяет файлы - PullRequest
       8

Hadoop разделяет файлы

0 голосов
/ 04 июня 2018

Я хочу поместить большой файл в файловую систему Hadoop.Он будет разбит на блоки по 64 МБ (или 128 МБ), и, вероятно, эти блоки, несмотря на принадлежность к определенному файлу, распределены по разным узлам в кластере.

Я знаю, что hadoop соответствует Shared-ничего парадигмы, поэтому память не разделяется.Если определенный узел хочет разработать исходный файл, он будет копировать каждый блок размером 64 МБ (или 128 МБ) из узлов, куда различные блоки были отправлены в его локальную память?

ps: когда файл разбивается на 64МБ (или 128 МБ) блоков, он просто усекается с кратностью 64 МБ (или 128 МБ) или применяется какая-то другая процедура?

...