Hadoop - восстановление после сбоя только для уменьшения - PullRequest
1 голос
/ 09 марта 2012

У меня запущено задание hadoop, которое завершило часть карты в течение 4 дней, и теперь кажется, что оно приостановлено на этапе сокращения (редукция выполнена на 30%)У вас есть способ только для повторной обработки уменьшающей части, если это вообще возможно, без необходимости повторной обработки долгосрочной части карты. Есть предложения?Что-то, вероятно, еще хуже, что у меня только один редуктор.

Спасибо!

1 Ответ

0 голосов
/ 09 марта 2012

Hadoop только перезапустит шаг Reduce в вашем случае.

Однако, если ваша работа не удалась, вы не можете просто пропустить шаг карты.В этом случае вам, вероятно, следует разделить два этапа на отдельные задания, особенно если ваш маппер требует больших вычислительных ресурсов.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...