Я развернул автономный кластер искры с одним драйвером и 2 исполнителями, каждый из которых работает на отдельной машине.
Всякий раз, когда я отправляю задание мастеру, используя spark-submit --master spark://driver_ip:7077 example/src/main/python/pi.py, он запускается бесконечно и отображает этиошибки:
BlockManagerMaster:54 - Removal of executor 50 requested
CoarseGrainedSchedulerBackend$DriverEndpoint:54 - Asked to remove non-existent executor 50
BlockManagerMasterEndpoint:54 - Trying to remove executor 50 from BlockManagerMaster.
StandaloneAppClient$ClientEndpoint:54 - Executor updated: app-20181129123913-0003/52 is now RUNNING
StandaloneAppClient$ClientEndpoint:54 - Executor updated: app-20181129123913-0003/51 is now EXITED (Command exited with code 1)
StandaloneSchedulerBackend:54 - Executor app-20181129123913-0003/51 removed: Command exited with code 1
StandaloneAppClient$ClientEndpoint:54 - Executor added: app-20181129123913-0003/53 on worker-20181129120029-10.0.1.101-36599 (10.0.1.101:36599) with 1 core(s)
Каждый раз, когда число в Removal of executor увеличивается, и программа не заканчивается.Похоже, что исполнители постоянно отказываются от заданий.
Может ли кто-нибудь помочь мне разобраться в проблеме.
Обратите внимание, что я вижу, что исполнители Spark зарегистрированы драйвером в диспетчере Spark.веб-интерфейс.