Я пытаюсь запустить что-то простое, что раньше выполнялось довольно легко, однако я сталкиваюсь с проблемами при выполнении кода ниже (версия spark: 2.4.4 / 2.4.3)
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object Sampler extends App {
SparkSession
.builder()
.config(
new SparkConf()
.setAppName(appName)
.setMaster(master)
.set("spark.ui.enabled", "false"))
.getOrCreate()
}
Я получаю это исключение-
java.lang.NumberFormatException: For input string: "unknown"
at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
at java.lang.Long.parseLong(Long.java:589)
at java.lang.Long.valueOf(Long.java:803)
at org.spark_project.jetty.util.Jetty.formatTimestamp(Jetty.java:89)
at org.spark_project.jetty.util.Jetty.<clinit>(Jetty.java:61)
at org.spark_project.jetty.server.Server.getVersion(Server.java:159)
at org.spark_project.jetty.server.handler.ContextHandler.<clinit>(ContextHandler.java:128)
at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:143)
at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:130)
at org.apache.spark.metrics.sink.MetricsServlet.getHandlers(MetricsServlet.scala:53)
at org.apache.spark.metrics.MetricsSystem.$anonfun$getServletHandlers$2(MetricsSystem.scala:92)
at scala.Option.map(Option.scala:230)
at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:92)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:516)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
at SparkGen$.<init>(SparkGen.scala:27)
at SparkGen$.<clinit>(SparkGen.scala)
at com.wd.perf.collector.metamodel.gen.Sampler$.delayedEndpoint$com$wd$perf$collector$metamodel$gen$Sampler$1(Sampler.scala:10)
at Sampler$delayedInit$body.apply(Sampler.scala:5)
at scala.Function0.apply$mcV$sp(Function0.scala:39)
at scala.Function0.apply$mcV$sp$(Function0.scala:39)
at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:17)
at scala.App.$anonfun$main$1$adapted(App.scala:80)
at scala.collection.immutable.List.foreach(List.scala:392)
at scala.App.main(App.scala:80)
at scala.App.main$(App.scala:78)
at Sampler$.main(Sampler.scala:5)
at Sampler.main(Sampler.scala)
Вероятно, вышеописанное происходит из-за того, что я отключил спарк-интерфейс, однако при попытке без него также возникает та же ошибка.
Я уже решил эту проблему ранее (я сталкивался с ней через месяцназад, и я исправил это, установив имя хоста на Mac OS X, используя следующее):
sudo hostname -s localhost
и выше фрагмент отключения spark.ui, и это, кажется, сработало, но больше не работает. Любые предложения приветствуются.