Можно ли добавить шаг «Объединить» в рабочий процесс Amazon Elastic MapReduce?

Question

Я имею в виду шаг Объединения , упомянутый в вики Hadoop . Мне не удалось найти ссылку на него в документации AWS, и я хотел бы использовать этот шаг.

Answer 1

Документация для Combiner будет в документации Apache, а не в документации AWS. Amazon Elastic MapReduce поддерживает версии Hadoop 0.18.3 и 0.20.2 с пользовательскими исправлениями. Apache MR Tutorial содержит ссылку на то, как следует использовать функцию объединителя. Вызовите Job.setCombinerClass () , чтобы установить класс объединителя.