spark-submit --num-executors 10 --executor-memory 5g --master yarn --executor-cores 3 --class com.octro.hbase.hbase_final /home/hadoop/testDir/nikunj/Hbase_data_maker/target/Hbase_data_maker-0.0.1-SNAPSHOT-jar-with-dependencies.jar main_user_profile
Это моя команда для выполнения моего кода зажигания в кластере.По этой команде моя страница YARN отображает общий объем памяти, выделенный как
71GB
. Я пытался выполнить поиск в Интернете по разным причинам, но не получил четких разъяснений.Позже я понял, что он использует формулу, так как
No of Executors*(Memory*2)+1
Plus 1 для основного контейнера. Но почему это 2GB по умолчанию .?