Как проверить, если передача файла в hdfs завершена или нет - PullRequest
0 голосов
/ 23 января 2019

Я копирую файл в HDFS из другого скрипта.Я не могу знать, была ли выполнена передача файла, так как другая система выполняет передачу файла в HDFS.Я хочу выполнить следующую операцию, как только будет выполнено копирование файла.Как это сделать?

1 Ответ

0 голосов
/ 23 января 2019

Поскольку и когда у вас есть цепочка команд, лучше всего разработать конвейер, который также позволяет подключать любые процедуры обработки ошибок или процедуры оповещения, если это необходимо.

Вы пробовали Apache Oozie / Airflow или инструменты в аналогичной экосистеме?

Используя такой набор инструментов, вы можете определить первую задачу как копию, а затем выполнить любую другую задачу в строке.

...