Как передать информацию от одного редуктора к другому в MapReduce

Question

У меня есть два картографа и два редуктора (1 и 2). Мой класс драйверов выполняет два задания, которые принимают два разных входных файла и выводят два разных выходных файла (опять же, 1 и 2). Таким образом, job1 связан с inputfile1, outputfile1, map1 и redu1; аналогично для job2.

Reduce1 выводит данные формы (id, number) с помощью context.write. Моя цель - получить доступ к этим парам ключ-значение в Reduce2, но я не могу понять, как это сделать. Я попытался сделать conf.setInt в Redu1, но значения не передаются в Redu2, потому что я не получаю их, когда я делаю conf.getInt.

Answer 1

Возвращаясь к этому, по моему опыту, вы записываете выходные данные в один путь, а затем запускаете другое задание с этим путем в качестве входных данных ...

Теоретически вы можете создать два задания в одной программе, если вы добавить код после метода waitForCompletion на первом задании