Запустить искру в режиме пряжи - PullRequest
Новая
       5

Запустить искру в режиме пряжи

0 голосов
/ 11 марта 2020 
./spark-shell --master yarn

Я запускаю команду на главном и подчиненном узлах, они все сделали одинаковые ошибки: 

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
Failing this attempt. Failing the application.
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:94)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:63)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:183)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:501)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:935)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:926)

Моя мысль: я думаю, что это может быть нехватка памяти, но я не чувствую ( память моего компьютера составляет 8 гигабайт), я открыл в общей сложности 5 виртуальных машин, 4 виртуальные машины дали по 2 гигабайта, одна - около 1,6 гигабайта, но не следует использовать всю эту память. Процесс для каждой виртуальной машины:

Master001: 

1264 NameNode
1537 DFSZKFailoverController
1730 ResourceManager
2189 Jps

Master002: 

1139 NameNode
2009 Jps
1211 DFSZKFailoverController

Slave001: 

1669 NodeManager
1335 QuorumPeerMain
2648 Jps
1513 JournalNode
1437 DataNode

Slave002: 

1139 QuorumPeerMain
2394 Jps
1438 JournalNode
1535 NodeManager
1247 DataNode

Slave003: 

1316 JournalNode
1237 DataNode
1465 NodeManager
1663 Jps
1135 QuorumPeerMain

То, что пишет блог, не очень хорошо, надеюсь, правильно, спасибо

...