Квота пространства HDFS. Что делать, если родительская папка имеет меньшую квоту по сравнению с дочерними папками?

Question

Reg Квота пространства HDFS - Cloudera

Если у меня есть папка A в HDFS, а внутри A есть еще одна папка B.

Квота пространства для A - 100 МБ

Space Quota для B - 200 МБ

Если я попытаюсь скопировать файл размером 150 МБ в B, произойдет ли сбой?

Answer 1

В соответствии с документацией Hadoop :

Пространственная квота является жестким ограничением на количество байтов, используемых файлами в дереве , корнем которого являетсяdirectory.

Таким образом, в общем случае вы не можете поместить файл, размер которого превышает квоту родительского каталога, в подкаталог или любой из его дочерних элементов.

В вашем конкретномВ этом случае самый большой файл, который можно поместить в B, равен 100 МБ при двух условиях:

1. коэффициент репликации для файла равен 1, а
2. dfs.blocksize изразмер файла = 100 МБ (или dfs.blocksize x N = 100 МБ), поскольку согласно этому же документу

Распределение блоков не выполняется, если квота не позволяет полный блок быть написанным.