Есть ли способ настроить время ожидания для спекулятивного выполнения в Hadoop? - PullRequest
1 голос
/ 14 июня 2010

У меня есть работа цикла с заданиями, которые, как ожидается, будут выполняться в течение значительного периода времени (несколько минут).Однако Hadoop слишком рано начинает спекулятивное исполнение.Я не хочу полностью отключать спекулятивное выполнение, но хочу увеличить продолжительность времени, которое время ожидания hasoop перед рассмотрением задания для спекулятивного выполнения.Есть ли опция конфигурации для управления этим тайм-аутом?

Спасибо

1 Ответ

0 голосов
/ 11 июля 2010

Я не верю, что спекулятивное время выполнения в настоящее время настраивается.С другой стороны, вероятно, нет необходимости настраивать его.Спекулятивное выполнение предназначено для спасения вас от медленно выполняющихся задач (обычно из-за снижения производительности оборудования).Если у вас есть доступные ресурсы кластера, так что включается spec exec, какой вред дает это сделать?Обратите внимание, что минуты не считаются «значительными» и превышают нормальные значения для заданий среднего или большого размера.

Стоит также отметить, что, хотя спецификация mapper практически всегда хороша и требует минимальных накладных расходов для системы, спецификация редуктораможет повредить и, вероятно, должен быть отключен.Обоснование состоит в том, что если картограф работает медленно и имеются доступные ресурсы, где данные являются локальными (обычными), общие издержки отсутствуют.Если редуктор работает медленно, запуск другой попытки той же задачи просто удвоит нагрузку на сеть - обычно это самая болезненная часть выполнения редуктора.Если сеть является причиной медленной работы редуктора, запуск второй попытки только повредит обеим попыткам.

Если у вас действительно есть вариант использования для настройки времени выполнения спецификации, возможно, стоит податьДжира в http://issues.apache.org.

Надеюсь, это поможет.

...