каждый, я работаю над настройкой наших заданий Hadoop.Чтобы уменьшить перетасовку и сортировку отображения, я считаю, что параметр mapreduce.task.io.sort.mb очень помогает.
Мой вопрос здесь заключается в том, устанавливает ли этот параметр максимальную верхнюю границу, а пространство памяти сортировки выделяется по требованию, или пространство сортировки выделяется только один раз в соответствии со значением параметра?
Чтобы увеличить этот параметр, мне также нужно увеличить mapreduce.map.java.opts.Поскольку mapreduce.map.java.opts - это максимальная верхняя граница, я склонен думать, что mapreduce.task.io.sort.mb также является верхней границей, и пространство сортировки выделяется по требованию.Но другой мой коллега сомневается в этом, и я не смог найти однозначного заключения.
Кто-нибудь может дать какие-нибудь предложения?И укажите мне несколько технических документов по этому поводу?
Спасибо и всего наилучшего