Из моего ограниченного знания Hadoop я понимаю, что TaskTracker отвечает за задачи Map и Reduce.Я пытаюсь изменить решение, чтобы спекулировать медленными задачами путем (1) проверки на отставание, (2) определения причин, по которым задачи терпят неудачу, и затем (3) принятия решения, следует ли спекулировать медленными задачами.
Я знаю, что вы можете изменить такие ограничения, как продолжительность и количество спекулятивных задач, изменив такие параметры, как mapreduce.map.speculative и mapreduce.reduce.speculative.Тем не менее, я хотел изменить метод умозрительных отставших.
Я перебираю java-классы в исходном коде, чтобы найти, где все это происходит, но с трудом справляется с огромностьюкодовой базы.Прежде всего, я смотрю на классы в каталоге 'mapreduce' (хотя я считаю, что mapred похож, просто устарел) кода, расположенного в GitHub:
https://github.com/apache/hadoop/tree/6d0bffe17eadedd60d4599427248b0db4a7c5502/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-core/src/main/java/org/apache/hadoop/mapreduce
Этоправильная папка для поиска?Любая помощь, указывающая на правильные классы для этой прогрессии, будет принята с благодарностью !!