Мы установили кластерный сервер с 4 серверами с дистрибутивом RedHat. Если мы запустим типичную программу, запрограммированную на Python, «Helloword» будет работать правильно.
С другой стороны, мы установили Spark на сервер с Windows 8 с Sypder для разработки. Этот Spark, установленный в Windows, указывает на кластер с указанием IP-адреса главного сервера.
Программа работает в кластере, однако задача никогда не заканчивается, показывая следующую ошибку: «Причина: java.io.IOException: Не удалось подключиться к ... IP»
Кажется, что кластер выполняет программу, но не может отправить ответ серверу Windows, с которого мы разработали и запустили код.
Мы сделали несколько проверок, но не знаем, как обнаружить ошибку:
- Все версии Spark и Scala совпадают в обеих системах.
- Мы настроили файл spark-defaults.conf, свойство spark.driver.port для использования порта 8080
- Нет проблем с брандмауэром
- Для контроля работы сети был выполнен Sniffer, и информация перемещается правильно в обоих направлениях.
Как мы могли бы отсюда определить причину этой проблемы?