Как использовать Java для чтения HDFS как Oozie Workflow - PullRequest
0 голосов
/ 21 октября 2019

Логика моего кода

var handler = initService();
for(each line in inputPath) {
  handler.process(line);
}
handler.close();

inputPath равна hdfs://server.:8020/path/to/input/data, содержит ГБ данных.

Чтобы избежать затрат на повторную инициализацию service handler,лучше разделить ввод на блоки с правильным размером. Как лучше всего реализовать это с помощью рабочего процесса Oozie?

...