Размер блока Hadoop для каждого файла

Question

В книге Hadoop говорится, что мы можем указать размер блока для каждого файла во время создания файла.

"Самый естественный способ увеличить размер разделения - это иметь более крупные блоки в HDFS, установив dfs.block.size или отдельно для каждого файла во время создания файла."

Любая идея, как это сделать во время создания файла. Я надеюсь, установив это значение = размер файла, файл не будет разделен

Answer 1

вы можете использовать CLI:

hadoop fs -D dfs.block.size=file-size -put local_name remote_location

или использовать Java API для указания dfs.block.size, когда вы хотите создавать или копировать файлы.

Configuration conf = new Configuration();
conf.setInt("dfs.block.size",file-size);