У меня есть задание hadoop с довольно длинной фазой карты, и я хочу, чтобы другие короткие задания выполнялись в приоритетном порядке.Для этого я установил приоритет своей длинной работы с помощью hadoop job -set-priority job_id LOW.
Проблема в том, что для моей длинной работы фаза копирования редукторов начинается, даже если только 30% моегозадачи карты выполнены.
Моя сетка затем блокируется, так как все сокращенные слоты заняты заданием с низким приоритетом.Другие мелкие задания могут выполнять фазы карты, но они никогда не получат никакого сокращения, пока моя долгая работа не будет закончена.
Есть идеи?Благодарю.J.