SET динамический c размер разделения для свиной Mapreduce на данных Hbase - PullRequest
0 голосов
/ 26 февраля 2020

Вопрос в том, как найти динамический c размер разделения для данных Hbase, когда вы выполняете обработку данных Hbase с помощью Pig-Mapreduce?

Настройка динамического c размера разделения для данных HDFS, ниже это команды Скажем, у нас есть FileSize и Number of mappers, мы можем вычислить размер разделения с помощью следующей команды

let SPLIT_SIZE=$FILE_SIZE/$NUM_MAPPERS (292G/2421 = 131553274 is the split size)

SET mapreduce.input.fileinputformat.split.maxsize '$SPLIT_SIZE';
SET mapreduce.input.fileinputformat.split.minsize '$SPLIT_SIZE';
SET pig.maxCombinedSplitSize '$SPLIT_SIZE';
...