Простой запуск Spark программно на Mac OS X - PullRequest
0 голосов
/ 11 декабря 2019

Я пытаюсь запустить что-то простое, что раньше выполнялось довольно легко, однако я сталкиваюсь с проблемами при выполнении кода ниже (версия spark: 2.4.4 / 2.4.3)

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object Sampler extends App {
  SparkSession
    .builder()
    .config(
      new SparkConf()
        .setAppName(appName)
        .setMaster(master)
        .set("spark.ui.enabled", "false"))
    .getOrCreate()
}

Я получаю это исключение-

java.lang.NumberFormatException: For input string: "unknown"
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Long.parseLong(Long.java:589)
    at java.lang.Long.valueOf(Long.java:803)
    at org.spark_project.jetty.util.Jetty.formatTimestamp(Jetty.java:89)
    at org.spark_project.jetty.util.Jetty.<clinit>(Jetty.java:61)
    at org.spark_project.jetty.server.Server.getVersion(Server.java:159)
    at org.spark_project.jetty.server.handler.ContextHandler.<clinit>(ContextHandler.java:128)
    at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:143)
    at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:130)
    at org.apache.spark.metrics.sink.MetricsServlet.getHandlers(MetricsServlet.scala:53)
    at org.apache.spark.metrics.MetricsSystem.$anonfun$getServletHandlers$2(MetricsSystem.scala:92)
    at scala.Option.map(Option.scala:230)
    at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:92)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:516)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
    at scala.Option.getOrElse(Option.scala:189)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
    at SparkGen$.<init>(SparkGen.scala:27)
    at SparkGen$.<clinit>(SparkGen.scala)
    at com.wd.perf.collector.metamodel.gen.Sampler$.delayedEndpoint$com$wd$perf$collector$metamodel$gen$Sampler$1(Sampler.scala:10)
    at Sampler$delayedInit$body.apply(Sampler.scala:5)
    at scala.Function0.apply$mcV$sp(Function0.scala:39)
    at scala.Function0.apply$mcV$sp$(Function0.scala:39)
    at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:17)
    at scala.App.$anonfun$main$1$adapted(App.scala:80)
    at scala.collection.immutable.List.foreach(List.scala:392)
    at scala.App.main(App.scala:80)
    at scala.App.main$(App.scala:78)
    at Sampler$.main(Sampler.scala:5)
    at Sampler.main(Sampler.scala)

Вероятно, вышеописанное происходит из-за того, что я отключил спарк-интерфейс, однако при попытке без него также возникает та же ошибка.

Я уже решил эту проблему ранее (я сталкивался с ней через месяцназад, и я исправил это, установив имя хоста на Mac OS X, используя следующее):

sudo hostname -s localhost

и выше фрагмент отключения spark.ui, и это, кажется, сработало, но больше не работает. Любые предложения приветствуются.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...