Получение исключения при выполнении задания потоковой передачи - PullRequest
Новая
       40

Получение исключения при выполнении задания потоковой передачи

0 голосов
/ 20 декабря 2018 
java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]
    at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
    at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
    at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:201)
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(ApplicationMaster.scala:345)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply$mcV$sp(ApplicationMaster.scala:260)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$5.run(ApplicationMaster.scala:815)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
    at org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser(ApplicationMaster.scala:814)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:259)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:839)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

Много его искал, похоже, что поток не может выполнить свою задачу и получает время, прочитал много ссылок, чтобы найти решение, и многие из них предложили увеличить spark.sql.broadcastTimeout.Поэтому я установил эту переменную в spark conf при отправке искрового задания на 6000000, ниже приведена команда, которую я использовал для отправки искрового задания в кластер EMR. 

spark-submit --deploy-mode cluster --class spark.Main --master yarn --deploy-mode cluster --conf spark.sql.broadcastTimeout=6000000 --files /home/hadoop/myproject/conf/abc.properties /home/hadoop/myproject/job-artifacts/project_jar_with_dependencies.jar

Но, тем не менее, я застрял в том же исключении, есликто-нибудь есть идеи, пожалуйста, помогите.

...