Размер блока HDFS по умолчанию составляет 128 МБ, а размер полосы Hive по умолчанию составляет 250 МБ. - PullRequest
0 голосов
/ 12 марта 2019

Размер блока HDFS по умолчанию составляет 128 МБ (источник: https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)

Размер полосы улья по умолчанию составляет 250 МБ (источник: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)

И, насколько я понимаю, 1 полоса должна полностью помещаться в 1 блок в HDFS.

Я что-то здесь упускаю? У меня есть неверная информация?

Вам просто нужно настроить HDFS на 250 МБ блоков, чтобы они соответствовали полосам?

1 Ответ

0 голосов
/ 12 марта 2019

Формат файла Orc можно разделить на уровне полосы. Это означает, что нет необходимости помещать один размер полосы в один блок.

Размер блока HDFS находится на уровне файла, независимо от его формата.

...