Исключение при запуске Spark History Server - PullRequest
Новая
       6

Исключение при запуске Spark History Server

0 голосов
/ 06 марта 2020

Я пытался запустить сервер Spark History. У меня есть следующие настройки в spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir              /home/user/Pictures
spark.history.fs.logDirectory   /home/user/Pictures

Всякий раз, когда я запускаю start-history-server.sh, я получаю следующее исключение: 

20/03/06 12:03:11 INFO history.FsHistoryProvider: History server ui acls disabled; users with admin permissions: ; groups with admin permissions
Exception in thread "main" java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.spark.deploy.history.HistoryServer$.main(HistoryServer.scala:296)
    at org.apache.spark.deploy.history.HistoryServer.main(HistoryServer.scala)
Caused by: java.io.FileNotFoundException: Log directory specified does not exist: /home/user/Pictures
    at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:267)
    at org.apache.spark.deploy.history.FsHistoryProvider.initialize(FsHistoryProvider.scala:211)
    at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:207)
    at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:86)
    ... 6 more
Caused by: java.io.FileNotFoundException: File does not exist: /home/user/Pictures
    at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1122)
    at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:1114)
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
    at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1114)
    at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:257)
    ... 9 more

Каталог /home/user/Pictures существует. Кажется, что Spark всегда ищет необходимые каталоги поверх HDFS. Я также настроил HDFS для автономного режима работы с искрой, но в настоящее время запускаю мое приложение для работы с искрой в режиме local[].

Может кто-нибудь помочь мне решить эту проблему?

1 Ответ

0 голосов
/ 06 марта 2020

enter image description here Если он локальный, попробуйте добавить префикс file:///home/user/Pictures> в журнал событий и каталог журналов. Надеюсь, это поможет

...