Непрерывно получая ошибку в команде spark-submit - PullRequest
Новая
       34

Непрерывно получая ошибку в команде spark-submit

0 голосов
/ 29 января 2020

Я не уверен, является ли это ошибкой, однако я получаю приведенную ниже ошибку при работе в кластере и не знаю, что ее вызывает, или где искать дополнительную информацию. Любая помощь приветствуется. Другие, похоже, сталкиваются с той же проблемой, но я не нашел никаких решений в Интернете.

Обратите внимание, что это происходит только с определенным кодом и повторяется, все мои другие задания искры работают нормально. 

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure:
  Task 93 in stage 6.4 failed 4 times, most recent failure: Lost task 93.3 in stage 6.4 (TID 29684, ip-172-16-7-203.ec2.internal, executor 895):
  java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_17_piece0 of broadcast_17
    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1333)
    at org.apache.spark.broadcast.TorrentBroadcast.readBroadcastBlock(TorrentBroadcast.scala:207)
    at org.apache.spark.broadcast.TorrentBroadcast._value$lzycompute(TorrentBroadcast.scala:66)
    at org.apache.spark.broadcast.TorrentBroadcast._value(TorrentBroadcast.scala:66)
    at org.apache.spark.broadcast.TorrentBroadcast.getValue(TorrentBroadcast.scala:96)
    at org.apache.spark.broadcast.Broadcast.value(Broadcast.scala:70)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:89)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:55)
    at org.apache.spark.scheduler.Task.run(Task.scala:121)
    at org.apache.spark.executor.Executor$TaskRunner$$anonfun$10.apply(Executor.scala:402)
    at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:408)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
...