У меня небольшой кластер с не очень хорошей сетью.Время от времени длительное задание будет достигать 100% карты и уменьшаться на 100%, а затем завершаться сбоем.
Проблема заключается в следующем: в начале задания MapReduce открывает DataStreamer для записи.jhist файл.В ходе работы (небольшое количество) узлов данных иногда отключаются и повторно подключаются.Когда это происходит, этот DataNode, если он в настоящий момент находится в конвейере записи .jhist, будет помечен как «плохой» (для конвейера .jhist) и после этого никогда не будет пересматриваться.Новый DataNode заменит его в конвейере.
Однако, если в конечном итоге каждый DataNode станет «плохим», в конце задания MRAppMaster / JobHistoryEventHandler попытается выполнить запись в этот прерванный конвейер и произойдет сбой (JavaIOException, Все датододы плохие, и так далее).С этого момента дела идут плохо, и в конце концов работа не выполняется, несмотря на то, что она завершена.
Эти файлы .jhist не важны для меня, но, несмотря на тщательный поиск, я не могу найти способ их отключить.Это возможно?В качестве альтернативы, есть ли способ заставить DataStreamers повторно пробовать узлы данных, ранее помеченные как «плохие»?Если ни один из них не возможен, любые другие обходные пути будут высоко оценены.
Я использую Hadoop 3.0.3, обновление до версии Hadoop больше этой опции, но не до версии до3.