Мне не удалось подключиться к spark на master при развертывании на сервере Jboss
У меня есть приложение, разработанное с использованием Java и Spark API для загрузки данных в базу данных Oracle.Я развернул это приложение на Jboss, и оно отлично работает на моем локальном сеансе Master Master, но когда я попытался перевести мой spark.master в кластерный режим и нажал на ссылку из моего локального, он не подключился к master.Я всегда вижу - произошла ошибка при загрузке файла участника: java.net.BindException: Невозможно назначить запрошенный адрес: Сбой службы «sparkDriver» после 16 попыток (на случайном свободном порте)!Рассмотрите возможность явного задания соответствующего адреса привязки для службы «sparkDriver» (например, spark.driver.bindAddress для SparkDriver) с правильным адресом привязки на клиенте (локальном) и ERROR TransportRequestHandler: ошибка при вызове RpcHandler
receive () для одностороннего сообщения.
java.io.InvalidClassException: org.apache.spark.rpc.netty.NettyRpcEndpointRef;l ocal class несовместим: stream classdesc serialVersionUID = 6257082371135760434 - эта ошибка на главном компьютере.У меня есть все те же версии (spark 2.4.2 и Hadoop 2.7, Scala 2.12.8 и sparkcore.2.8.0 в моем pom.xml) как на моем локальном компьютере, так и на главном.Когда я попытался найти информацию об этой ошибке, я обнаружил несоответствие версий, но у меня их нет.Может кто-нибудь помочь с этим?
Создание свечей -
sparkSession = new SparkSession.Builder().master("spark://ip.addresss:7077").config("spark.submit.deployMode","cluster").appName("Java JDBC Spark").config("spark.driver.bindAddress","ip.addresss").getOrCreate();