Использование org.apache.pig.piggybank.storage.MultiStorage с файлами Avro - PullRequest
0 голосов
/ 11 января 2019

Я хочу объединить набор файлов avro в hdfs. Эти файлы находятся в каталогах / data / 20180823 / HH, / data / 20180825 / HH, где HH - час. Я передаю список каталогов в сценарий PIG. Выходные каталоги должны иметь формат /data/20180823/a.avro, чтобы свернуть все часовые каталоги. Как я могу определить несколько выходных каталогов для задания PIG ?. Я посмотрел на мультихранилище, но похоже, что он просто хранит данные в виде текста

...