Записывать файлы журналов в HDFS с помощью инструментов для работы с большими данными - PullRequest
0 голосов
/ 27 августа 2018

Файлы журнала принимаются в формате .xml каждый час.Они хранятся в каталогах в локальной файловой системе.Тогда есть несколько каталогов, получаемых в день.

Я хочу разделить полученные файлы журнала на основе их имени и записать их в HDFS.

Каковы хорошие стратегии для этого?

...