Недавно я узнал о Hadoop v1.x и пытаюсь реализовать алгоритм, с которым я столкнулся в исследовательской работе. Этот алгоритм исследует задачи бродяги, чтобы увидеть, действительно ли они должны быть убиты и перезапущены или им просто нужно больше времени. Кто-нибудь может указать мне правильное направление, где в исходном коде Hadoop я могу реализовать этот алгоритм?
Я искал параметры и классы .java глубоко в загрузке исходного кода Hadoop v1.x, чтобы попытаться найти, где логика убивать задачи, но безрезультатно. Я также не очень силен в своих навыках Java, но знаю достаточно, чтобы обойтись.
Вот алгоритм псевдокода:
procedure RTUNER (Task T[])
for RT in T do
if RT in reduce then
flag=CHECKFORSTRAGGLER(RT)
REASONFORSTRAGGLER(RT)
decision=CHECKFORSPECULATION(RT)
if decision=true and CROSSSPECULATIVELIMIT()=false
then SPECULATE(RT)
end if
end if
end for
end procedure