Force one Редуктор в AWS EMR - PullRequest
Новая
       23

Force one Редуктор в AWS EMR

0 голосов
/ 16 ноября 2011

Как я могу гарантировать, что для моей работы EMR Streaming есть только редуктор?Есть ли способ сделать это из веб-интерфейса, когда я создаю новый Jobflow?

1 Ответ

1 голос
/ 31 мая 2012

Вы можете настроить Hadoop в действии начальной загрузки, используя флаг --arg. Специально для вашего вопроса вы можете установить mapred.tasktracker.reduce.tasks.maximum равным 1. 

elastic-mapreduce --create --alive \
      --name "Configure Jobflow" \
      --bootstrap-actions s3://elasticmapreduce/bootstrap-actions/configure-hadoop
      --arg mapred.tasktracker.reduce.tasks.maximum=2
...