Ошибка нескольких заданий Spark-submit - PullRequest
Новая
       22

Ошибка нескольких заданий Spark-submit

0 голосов
/ 09 мая 2018

Я пытаюсь запустить несколько заданий Spark на DSE Cassandra, используя 

dse> bin/dse spark-submit --class com.testing /jarpath

, но после запуска одного экземпляра я получаю ошибку в другом экземпляре. 

WARN  2018-05-09 14:55:31,051 org.apache.spark.scheduler.TaskSchedulerImpl: 
Initial job has not accepted any resources; check your cluster UI to ensure 
that workers are registered and have sufficient resources.

У меня кластер из 4 узловкаждое с 4 ядрами и 6 ГБ оперативной памяти каждое.Итак, для каждой искровой работы я определил следующие параметры: - 

  .set("spark.executor.memory", "2g")
  .set("spark.driver.memory", "2g")
  .set("spark.submit.deployMode", "cluster")
  .set("spark.executor.instances", "4")
  .set("spark.executor.cores", "2")

Итак, где я ошибаюсь или что нужно настроить для параллельного запуска нескольких искровых работ.

...