Соглашение об именах приложений Spark

Question

Что такое соглашение об именах для Spark Application, определяемое как:

SparkSession
      .builder
      .appName("name goes here")

что отображается в SparkUI?

Answer 1

Какое бы имя приложения вы не упомянули ... одно и то же имя приложения появится в интерфейсе spark

в приведенном выше примере:

 val spark = SparkSession.builder()
      .appName("name goes here")
      .config("spark.master", "local").getOrCreate()

имя отображается в интерфейсе пользователя ...

если мы говорим об идентификаторе приложения пряжи, см. код здесь ,

@Public
  @Unstable
  public static ApplicationId newInstance(long clusterTimestamp, int id) {
    ApplicationId appId = Records.newRecord(ApplicationId.class);
    appId.setClusterTimestamp(clusterTimestamp);
    appId.setId(id);
    appId.build();
    return appId;
  }

Вывод : нет имени в названии приложения между вами упомянутое в имени идентификатора приложения sparksession и пряжи, который является генерируется пряжей.

Answer 2

Вы можете использовать любое имя, но стандартное имя, используемое искрой, равно -

e.g application_<cluster-timestamp>_<counter>

cluster-timestamp = The start-time of the "ResourceManager"
counter           = Monotonically increasing counter for the application