Я создал задание Elastic MapReduce и пытаюсь оптимизировать его производительность.
В данный момент я пытаюсь увеличить количество картографов на экземпляр.Я делаю это с помощью mapred.tasktracker.map.tasks.maximum = X
elastic-mapreduce --create --alive --num-instance 3 \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--args -s,mapred.tasktracker.map.tasks.maximum=5
Каждый раз, когда я пытаюсь установить X на 2 для небольшого экземпляра, происходит сбой инициализации, из чего я заключаю, что выделенный hadoop800 м памяти на одно задание карты.Мне это кажется чрезмерным.Я бы хотел, чтобы это было 400 м вершин.
Как мне сказать hadoop использовать меньше памяти для каждой задачи карты?