Искровой локальный режим не является честью свойства spark.app.id

Question

Мы попытались использовать локальный режим spark вместо кластерного режима, но в локальном режиме spark не учитывает свойство spark.app.id из файла свойств spark.В качестве идентификатора приложения всегда используется внутренний local-<timestamp>.Мы используем скрипт для управления spark.app.id и хотели бы использовать локальный режим spark.Нам нужно использовать историю искр, чтобы проверить работу искры.

Answer 1

Из Spark Source вы можете увидеть:

/**
   * A unique identifier for the Spark application.
   * Its format depends on the scheduler implementation.
   * (i.e.
   *  in case of local spark app something like 'local-1433865536131'
   *  in case of YARN something like 'application_1433865536131_34483'
   *  in case of MESOS something like 'driver-20170926223339-0001'
   * )
   */

И когда вы предоставите мастер как local, он будет использовать LocalSchedulerBackend, который инициализирует идентификатор приложения как:

  private val appId = "local-" + System.currentTimeMillis

И когда вы запустите кластер, он примет spark.app.id и будет использовать его, класс StandaloneSchedulerBackend, и есть логика, чтобы получить его из этого свойства.

Надеюсь, это поможет вам.