Как изменить то, как Hadoop v1.x обрабатывает отставших - PullRequest
0 голосов
/ 16 апреля 2019

Недавно я узнал о Hadoop v1.x и пытаюсь реализовать алгоритм, с которым я столкнулся в исследовательской работе. Этот алгоритм исследует задачи бродяги, чтобы увидеть, действительно ли они должны быть убиты и перезапущены или им просто нужно больше времени. Кто-нибудь может указать мне правильное направление, где в исходном коде Hadoop я могу реализовать этот алгоритм?

Я искал параметры и классы .java глубоко в загрузке исходного кода Hadoop v1.x, чтобы попытаться найти, где логика убивать задачи, но безрезультатно. Я также не очень силен в своих навыках Java, но знаю достаточно, чтобы обойтись.

Вот алгоритм псевдокода:

procedure RTUNER (Task T[])   
  for RT in T do        
    if RT in reduce then 
      flag=CHECKFORSTRAGGLER(RT) 
      REASONFORSTRAGGLER(RT) 
      decision=CHECKFORSPECULATION(RT)              
      if decision=true and CROSSSPECULATIVELIMIT()=false      
        then SPECULATE(RT) 
      end if
    end if
  end for 
end procedure
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...