Максимальный размер файла Hadoop HDFS

Question

Мой коллега считает, что HDFS не имеет максимального размера файла, то есть, путем разбиения на 128/256 мегабайт можно сохранить любой размер файла (очевидно, диск HDFS имеет размер, и это будет ограничивать, но это единственныйпредел).Я не могу найти что-нибудь, говорящее, что есть предел, поэтому она права?

спасибо, Джим

Answer 1

Ну, очевидно, есть практический предел. Но физически идентификаторы блоков HDFS - это длинные Java таким образом, они имеют максимум 2 ^ 63, а если размер вашего блока составляет 64 МБ, то максимальный размер составляет 512 йотбайт.

Answer 2

Я думаю, что она права, говоря, что в HDFS нет максимального размера файла.Единственное, что вы действительно можете установить - это размер чанка, который по умолчанию равен 64 МБ.Я предполагаю, что размеры любой длины могут быть сохранены, единственным ограничением может быть то, что чем больше размер файла, тем больше аппаратных средств для его размещения.

Answer 3

Я не эксперт в Hadoop, но AFAIK, нет явного ограничения на один размер файла, хотя существуют неявные факторы, такие как общая емкость хранилища и максимальный размер пространства имен. Кроме того, могут быть административные кавычки на количество объектов и размеров каталога. Тема о емкости HDFS очень хорошо описана в этом документе . Цитаты описаны здесь и обсуждены здесь .

Я бы порекомендовал уделить дополнительное внимание блогу Майкла Дж. Нолла, на который ссылается последняя ссылка, он охватывает многие темы, связанные с hadoop.