Я использую команду DISTCP для копирования каталога hdfs из одного кластера в другой кластер с помощью сценария оболочки. После отправки команды disctcp она НЕ завершает процесс при возникновении ошибки. Тем не менее, он продолжает пытаться и становится ниже ошибки
20/02/01 05:11:03 ERROR tools.SimpleCopyListing: Exception in listStatus. Will send for retry.
есть возможность ограничить повторную попытку. Например, если возникла какая-либо ошибка, необходимо немедленно прекратить.