Всегда нужно устанавливать mapred.tasktracker.map.tasks.maximum и mapred.map.tasks в 4, чтобы заставить Giraph работать правильно? - PullRequest
Новая
       17

Всегда нужно устанавливать mapred.tasktracker.map.tasks.maximum и mapred.map.tasks в 4, чтобы заставить Giraph работать правильно?

0 голосов
/ 01 октября 2018

Я делаю настройку giraph в кластере EC2, состоящем из 20 узлов.Я сталкиваюсь со многими трудностями, но медленно решаю все из них.Теперь у меня есть сомнения, связанные со следующими istructions, извлеченными из http://giraph.apache.org/quick_start.html. Всегда необходимо установить mapred.tasktracker.map.tasks.maximum и mapred.map.tasks в 4, чтобы заставить Giraph работать правильно?


ИНСТРУКЦИИ, ИЗВЛЕЧЕННЫЕ ИЗ http://giraph.apache.org/quick_start.html:

Отредактируйте mapred-site.xml с помощью 

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property>

<property>
  <name>mapred.map.tasks</name>
  <value>4</value>
</property>

*

По умолчанию Hadoop позволяет одновременно запускать 2 картографа.Код Giraph, однако, предполагает, что мы можем запустить 4 картографа одновременно.Соответственно, для этого одноузлового, псевдораспределенного развертывания нам нужно добавить два последних свойства в mapred-site.xml, чтобы отразить это требование.В противном случае некоторые из юнит-тестов Гирафа не пройдут.

*

...