У меня были проблемы с памятью, и я посмотрел значения параметров по умолчанию, такие как:
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts
в документации Amazon и понял, что значения по умолчанию низкие.Итак, я добавил конфигурацию при создании кластера EMR следующим образом:
classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]
и создал кластер.Теперь, как мне проверить, действительно ли обновлены эти значения или нет?