hadoop: оптимальное количество карт / сокращение рабочих мест на четырехъядерном компьютере - PullRequest
Новая
       3

hadoop: оптимальное количество карт / сокращение рабочих мест на четырехъядерном компьютере

2 голосов
/ 07 октября 2011

Я пытался выяснить через Google, но не нашел ничего хорошего 

- I have a Quad-core Ubuntu box running a map-reduce job.  
- running default 2 maps and taking lot of time  
- what be a good number of map/reduce job for a machine of such config?

Пожалуйста, совет
TIA

1 Ответ

3 голосов
/ 07 октября 2011

Похоже на эмпирическую проблему.Начните с 1 и продвигайтесь вверх некоторое время.Постройте кривую, посмотрите, чем она закончится.Я ожидаю, что вы, вероятно, найдете приятное место либо по количеству доступных ядер, либо по количеству доступных аппаратных потоков (может быть одинаковым на вашем компьютере).Тем не менее, проведение эксперимента - лучший способ выяснить это.

...