Работа Hadoop висит в ожидании смерти - PullRequest
1 голос
/ 21 ноября 2011

У меня несколько заданий Hadoop, выполняющих разную обработку. Когда в некоторых из них (пользовательское бизнес-исключение) возникает исключение, оно передается методу map (), задание сразу же прекращается.

Однако некоторые задания вызывают исключение в методе setup () класса mapper. Когда это происходит, работа зависает на 40 минут (мой таймер Hadoop должен быть установлен на это), и с политикой повторного запуска задачи мне приходится ждать 4 * 40 = 160 минут. В данном конкретном случае исключение IllegalArgumentException вызывает один из бизнес-классов.

Как я могу справиться с этим долгим периодом "работы, висящей на облаке", но сохранив свой таймер как есть?

1 Ответ

2 голосов
/ 21 ноября 2011

Вы можете убить задание в командной строке с помощью hadoop job -kill <jobid>

...