Я работаю с spark.2.3.1. Приложение Spark отправляется в автономный кластер spark: //10.101.3.128: 6066 в режиме кластера. Приложение не работает. ОШИБКА в stdout файла журнала драйвера в рабочем каталоге.
2020-04-15 15:30:34 ERROR TransportResponseHandler:144 - Still have 1 requests outstanding when connection from /10.101.3.128:6066 is closed
2020-04-15 15:30:34 WARN StandaloneAppClient$ClientEndpoint:87 - Failed to connect to master 10.101.3.128:6066
org.apache.spark.SparkException: Exception thrown in awaitResult:
at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205)
at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:75)
at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:101)
at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:109)
at org.apache.spark.deploy.client.StandaloneAppClient$ClientEndpoint$$anonfun$tryRegisterAllMasters$1$$anon$1.run(StandaloneAppClient.scala:106)
....
Больше информации нет. Мастер работает на порту 6066, так как приложение было отправлено. Почему здесь это не может быть связано.
Я нахожу обходной путь. Я использую spark: //10.101.3.128: 6066 в сценарии отправки, но spark: //10.101.3.128: 7077 в файле свойств конфигурации Spark. Там не будет никаких проблем.
Это ошибка? Я хочу знать, была ли эта проблема исправлена в Spark в каком-либо выпуске или будет исправлена в будущем.
Спасибо.