Можно ли задать количество задач карты, запущенных на узел. Я использую Hadoop Streaming для сканирования данных, и мне нужно только одно задание карты на узел, чтобы избежать блоков.
Спасибо,
Независимо от потоковой передачи или нет, максимальное количество картографов на узел может быть установлено с помощью параметров mapreduce.tasktracker.map.tasks.maximum.Параметр должен быть установлен в файле mapred-site.xml на узле, это свойство не действует при установке на клиенте.
mapreduce.tasktracker.map.tasks.maximum
mapred-site.xml
Вы пробовали играть со следующими настройками в файле job.xml?
mapred.max.maps.per.node=1 mapred.max.reduces.per.node=1
По умолчанию это -1, неограниченно (кроме, конечно, доступных слотов).