Должны ли две попытки для одних и тех же задач сокращения продолжаться параллельно?

Question

Действия в моей задаче сокращения hadoop имеют внешние эффекты, и они не являются идемпотентными. И я заметил, что в трекере задач была предпринята попытка использования одного редуктора, а затем был запущен другой редуктор для того же набора ключей без уничтожения исходного. Я настроил что-то не так?

Вот таблица для этой задачи сокращения:

Answer 1

Это связано с умозрительным исполнением в hadoop. Это возможность для Hadoop указывать задачи резервного копирования, если он обнаруживает медленные задачи на нескольких узлах кластера. Задачи резервного копирования будут преимущественно запланированы на более быстрых узлах. Какой из дубликатов задач завершается первым, тот, который используется в дальнейших операциях.

Вы можете отключить это, установив следующий параметр как false

mapred.reduce.tasks.speculative.execution