Я пытаюсь запустить spark через hadoop (пряжу).
, когда я пытаюсь запустить spark-shell, это делает ConnectionRefused исключение. Журнал выглядит так:
ERROR cluster.YarnClientSchedulerBackend: The YARN application has already ended! It might have been
killed or the Application Master may have failed to start. Check the YARN application logs for more details.
19/10/22 15:13:36 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Application application_1571690458300_0002 failed 2 times due to
Error launching appattempt_1571690458300_0002_000002. Got exception: java.net.ConnectException:
Call From master/x.x.x.x(a correct IP:) ) to ubuntu:43856 failed on connection exception:
java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop
/ConnectionRefused
, но когда я запускаюПример WordCount с пряжей, все в порядке. (Так что пряжа в порядке, я думаю)
поскольку в журнале сказано, что он пытается подключиться к Ubuntu: 43856, я думаю, что он пытается подключиться к одному из моих рабов
, которыйэто должно быть slave1: 43856 (как я установил рабочий файл). и я думаю, что проблема здесь, но
работает только пряжа (без искры) в порядке.
и команда экспорта yarn node -list:
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
ubuntu:43856 RUNNING ubuntu:8042 0
ubuntu:37951 RUNNING ubuntu:8042 0
ubuntu:34335 RUNNING ubuntu:8042 0
ubuntu:46500 RUNNING ubuntu:8042 0
есть много конфигурационных файлов,дайте мне знать, если нужен один (или более) из этих файлов.
заранее спасибо.