Соотношение между CPU vCores и Spark-ядрами

Question

Я запускаю кластер EMR с основными узлами m5.xl следующим образом:

4 vCore, 16 GiB memory, EBS only storage
EBS Storage:200 GiB

Я не уверен, что я запускаю задание Spark и задаю параметр executor-core, например 2. Если это точно так же, как vCores в моих экземплярах m5.xlarge?

Answer 1

ядро ​​каждого исполнителя будет использовать vCore в вашем кластере, следовательно, создайте либо 4 исполнителя с 1 ядром каждый, либо 2 исполнителя с 2 ядрами каждый или 1 исполнитель с 4 ядрами. Наслаждайтесь!