Sqoop Job Intelligence - PullRequest
       11

Sqoop Job Intelligence

0 голосов
/ 08 марта 2019

В сценарии, если существует одно задание sqoop, которое мы используем для импорта 250 строк данных один раз и 250 строк данных снова, есть ли способ узнать, какое выполнение задания sqoop импортировало какие данные?

1 Ответ

0 голосов
/ 08 марта 2019

Каждые sqoop job создадут некоторые файлы part-m, количество файлов зависит от на картографах. Таким образом, вы можете сравнить время создания этих файлов.

В противном случае, если вы знаете для желаемого sqoop job идентификатор (например, JOB ID : 1234567891234_4201) вы можете найти log_file JOB.

Импорт данных через Hue

Просмотрите файл и попробуйте найти раздел Sqoop command arguments:. Вы увидите команду sqoop , которую вы выполнили.

Импорт данных через командную строку Sqoop

Просмотрите файл и попробуйте найти раздел Processing file. Вы увидите имя файла part-m, который был создан поиском JOB ID .

...