Обнаружена ошибка при доступе к http://hostname: 4040 / jobs / во время работы spark-submit

Question

Я настроил Spark на кластере oop Yarn (один мастер, три рабочих), я использую spark-submit для запуска примера SparkPi, я могу получить результат правильно. Я также настроил сервер истории, я могу видеть всю историю на сервере истории, единственная проблема - когда работает spark-submit, я не могу получить доступ к SparkUI (http://hostname: 4040 / jobs / ) соблюдать статус. Когда я пытаюсь получить доступ к SparkUI, я вижу ниже сообщения об ошибках:

HTTP ERROR 500

Problem accessing /jobs/. Reason:

Server Error

Caused by:

java.util.NoSuchElementException
    at java.util.Collections$EmptyIterator.next(Collections.java:4191)
    at org.apache.spark.util.kvstore.InMemoryStore$InMemoryIterator.next(InMemoryStore.java:373)
    at org.apache.spark.status.AppStatusStore.applicationInfo(AppStatusStore.scala:39)
    at org.apache.spark.ui.jobs.AllJobsPage.render(AllJobsPage.scala:262)
    at org.apache.spark.ui.WebUI.$anonfun$attachPage$1(WebUI.scala:89)
    at org.apache.spark.ui.JettyUtils$$anon$1.doGet(JettyUtils.scala:80)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:687)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:790)
    at org.sparkproject.jetty.servlet.ServletHolder.handle(ServletHolder.java:873)
    at org.sparkproject.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1623)
    at org.apache.spark.ui.HttpSecurityFilter.doFilter(HttpSecurityFilter.scala:95)
    at org.sparkproject.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1610)
    at org.sparkproject.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:540)
    at org.sparkproject.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:255)
    at org.sparkproject.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1345)
    at org.sparkproject.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:203)
    at org.sparkproject.jetty.servlet.ServletHandler.doScope(ServletHandler.java:480)
    at org.sparkproject.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:201)
    at org.sparkproject.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1247)
    at org.sparkproject.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:144)
    at org.sparkproject.jetty.server.handler.gzip.GzipHandler.handle(GzipHandler.java:753)
    at org.sparkproject.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:220)
    at org.sparkproject.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:132)
    at org.sparkproject.jetty.server.Server.handle(Server.java:505)
    at org.sparkproject.jetty.server.HttpChannel.handle(HttpChannel.java:370)
    at org.sparkproject.jetty.server.HttpConnection.onFillable(HttpConnection.java:267)
    at org.sparkproject.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:305)
    at org.sparkproject.jetty.io.FillInterest.fillable(FillInterest.java:103)
    at org.sparkproject.jetty.io.ChannelEndPoint$2.run(ChannelEndPoint.java:117)
    at org.sparkproject.jetty.util.thread.strategy.EatWhatYouKill.runTask(EatWhatYouKill.java:333)
    at org.sparkproject.jetty.util.thread.strategy.EatWhatYouKill.doProduce(EatWhatYouKill.java:310)
    at org.sparkproject.jetty.util.thread.strategy.EatWhatYouKill.tryProduce(EatWhatYouKill.java:168)
    at org.sparkproject.jetty.util.thread.strategy.EatWhatYouKill.produce(EatWhatYouKill.java:132)
    at org.sparkproject.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:698)
    at org.sparkproject.jetty.util.thread.QueuedThreadPool$Runner.run(QueuedThreadPool.java:804)
    at java.lang.Thread.run(Thread.java:748)

Среды: Ubuntu 16.04.6 , has oop -3.2.1 , искровым 3.0.0-preview2-бен-hadoop3.2