YARN выделяет только 1 исполнителя, хотя динамическое выделение памяти отключено - PullRequest
Новая
       21

YARN выделяет только 1 исполнителя, хотя динамическое выделение памяти отключено

0 голосов
/ 10 февраля 2019

У меня есть настройка кластера с одним драйвером и двумя исполнителями, работающими в режиме пряжи.Всякий раз, когда я отправляю искровой код с master в качестве пряжи и в режиме развертывания в качестве клиента, а динамическое выделение памяти - как false, он выполняется правильно, но когда сведения просматриваются на сервере истории Spark, он показывает, что он выполняется только в одном из исполнителей./workers.

Мои машины EC2 (2 ядра и 1 мастер): увеличение c4.4 с 30 ГБ и 16 В ЦП 

spark-submit --packages org.apache.spark:spark-streaming-kafka_2.11:1.6.3 --master yarn --driver-memory 24g --executor-memory 20g --num-executors 2 --conf spark.shuffle.service.enabled=false --conf spark.dynamicAllocation.enabled=false --conf spark.dynamicAllocation.maxExecutors=2  --conf spark.dynamicAllocation.minExecutors=2  spark_streaming_job.py

журналы от 1 из исполнителей: 

19/02/10 05:35:47 INFO RMProxy: Connecting to ResourceManager at ip-xx-xx-xx-xx.ap-xxxxx-1.compute.internal/xx.xx.xx.xx:8030
19/02/10 05:35:47 INFO YarnRMClient: Registering the ApplicationMaster
19/02/10 05:35:47 INFO Utils: Using initial executors = 2, max of spark.dynamicAllocation.initialExecutors, spark.dynamicAllocation.minExecutors and spark.executor.instances
19/02/10 05:35:47 INFO YarnAllocator: Will request 2 executor container(s), each with 4 core(s) and 22528 MB memory (including 2048 MB of overhead)
19/02/10 05:35:47 INFO YarnAllocator: Submitted 2 unlocalized container requests.
19/02/10 05:35:47 INFO ApplicationMaster: Started progress reporter thread with (heartbeat : 3000, initial allocation : 200) intervals
19/02/10 05:35:49 INFO AMRMClientImpl: Received new token for : ip-xx-xx-xx-xx.ap-southeast-1.compute.internal:8041
19/02/10 05:35:49 INFO YarnAllocator: Launching container container_1549550949694_0005_01_000003 on host ip-xx-xx-xx-xx.ap-xxxx-1.compute.internal for executor with ID 1
19/02/10 05:35:49 INFO YarnAllocator: Received 1 containers from YARN, launching executors on 1 of them.

Кто-нибудь может заставить меня получить ровно 2 исполнителя?

...