Hadoop: не перепланируйте вышедший из строя редуктор

Question

Вот как в настоящее время работает Hadoop: если происходит сбой редуктора (например, генерируется исключение NullPointerException), Hadoop перенесет другой редуктор для выполнения задачи редуктора, который вышел из строя.

Можно ли настроить Hadoop так, чтобы он не перепланировал сбойные редукторы, т. Е. В случае сбоя какого-либо редуктора Hadoop просто сообщает о сбое и больше ничего не делает.

Разумеется, что отказавшие редукторы будут продолжать работу.

Answer 1

вы можете установить свойство mapred.reduce.max.attempts с помощью класса Configuration для job.xml

, установив его в 0, должно решить вашу проблему

Answer 2

Если вы настроите конфигурацию так, чтобы не перепланировать сбойные задачи, как только первая из них потерпит неудачу, ваш трекер заданий не выполнит задание и уничтожит текущие задачи.Поэтому то, что вы хотите сделать, практически невозможно.