Почему Hadoop Job замедляется через некоторое время и после некоторого запуска? - PullRequest
0 голосов
/ 16 января 2012

У меня есть кластер Hadoop из 2 узлов, на котором установлена ​​последняя стабильная версия (hadoop-0.20.203.0).

Я выполняю некоторую интенсивную работу с памятью в своей функции карты. Моя работа выполняется правильно для первых нескольких запусков.

Но теперь он замедляется и заканчивается через некоторое время. Я попытался очистить mapred.local.dir и mapred.tmp.dir, но не помогло.

Иногда он говорит "GC overhead". Иногда он показывает «только что убил».

...