Я использую apache spark 2.2.1, который работает на кластере Amazon EMR.Иногда задания не выполняются по истечении времени ожидания фьючерса:
java.util.concurrent.TimeoutException: время ожидания фьючерса истекло после [100000 миллисекунд]
в scala.concurrent.impl.Promise $ DefaultPromise.ready(Promise.scala: 219)
в scala.concurrent.impl.Promise $ DefaultPromise.result (Promise.scala: 223)
в org.apache.spark.util.ThreadUtils $ .awaitResult (ThreadUtils.scala:201)
в org.apache.spark.deploy.yarn.ApplicationMaster.runDriver (ApplicationMaster.scala: 401)
в org.apache.spark.deploy.yarn.ApplicationMaster.run (ApplicationMaster.scala: 254)
в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ main $ 1.apply $ mcV $ sp (ApplicationMaster.scala: 764)
в org.apache.spark.deploy.SparkHadoopUtil $$ anon$ 2.run (SparkHadoopUtil.scala: 67)
в org.apache.spark.deploy.SparkHadoopUtil $$ anon $ 2.run (SparkHadoopUtil.scala: 66)
в java.security.AccessController.doPrivileged (собственный метод))
в javax.security.auth.Subject.doAs (Subject.java:422)
в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1836)
в org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser (SparkHadoopUtil.scala: 66)
в org.apache.spark.dep.yarn.ApplicationMaster $ .main (ApplicationMaster.scala: 762)
в org.apache.spark.deploy.yarn.ApplicationMaster.main (ApplicationMaster.scala)
Я изменил 2 параметра в свече-defaults.conf:
spark.sql.broadcastTimeout 1000
spark.network.timeout 10000000
но это не помогло.
У вас есть какие-либо предложения о том, как справиться с этим таймаутом?