Мониторинг и проверка длительной работы distcp

Question

Есть ли какие-либо другие возможности для мониторинга и проверки больших заданий distoop, кластера в кластер, заданий копирования hdfs, помимо проверки журналов yarn / mapreduce?(миллионы маленьких и больших файлов, оценка времени выполнения: пара дней, изменение скорости сети из-за виртуализированной среды и параллельного использования кластера)

Использование DistCp V2 и Apache Hadoop 2.7.3 на HDP 2.6.1

Answer 1

Записать состояние копирования в журнал с помощью приведенного ниже аргумента в вашей команде distcp:

-log <logdir>

Запись журналов в DistCp ведет журналы каждого файла, который он пытается скопировать, в качестве вывода карты.В случае сбоя карты вывод журнала не будет сохранен, если он будет выполнен повторно.