Приложение Spark-submit не использует все ресурсы узла в datastax enterprise - PullRequest
0 голосов
/ 09 мая 2019

Я пытаюсь отправить приложение с главного узла:

dse -u abc -p abc spark-submit --confpark.cassandra.auth.username=abc 
  --conf spark.cassandra.auth.password=abc 
  --conf spark.debug.maxToStringFields=10000 --conf spark.executor.memory=6G app.py 

Я использую узел аналитики 3 dse, 1 центр обработки данных, узел оперативной памяти 4 ядра / 16 ГБ и отправляю приложение с главного узла. Когда я пошел, чтобы проверить задачи / этапы, я увидел, что только задачи, выполняемые от мастера, а не задачи от рабочих.

enter image description here

Кто-нибудь знает об этой проблеме?

...