Спарк повторных попыток Конфигурация попыток не работает из сеанса искры

Question

Я пытаюсь ограничить попытки применения искры. Задание повторно отправляется в режиме клиента пряжи после сбоя один раз.

Я использую HDInsight Activity из фабрики данных Azure. Она ограничивается одной попыткой, если параметр передается из ADF.

#

 val conf: SparkConf = new SparkConf()
  conf.set("spark.yarn.maxAppAttempts","5")
  conf.set("yarn.resourcemanager.am.max-attempts","5")

  val sc = SparkSession.builder
     .master("yarn")
    .config(conf)
    .appName("test")
    .enableHiveSupport()
    //.config("yarn.resourcemanager.am.max-attempts","1")
    //.config("spark.yarn.maxAppAttempts","1")
    .getOrCreate() ##

sc.conf.set("spark.yarn.maxAppAttempts","1")

печать параметров из консоли показывает (Spark.yarn.maxAppAttempts, 1) (yarn.resourcemanager.am.max-попытка, 1)

Answer 1

Проверьте значение yarn.resourcemanager.am.max-attempts, установленное в кластере пряжи.Spark spark.yarn.maxAppAttempts не может быть больше значения, установленного в кластере пряжи.Оно должно быть меньше или равно yarn.resourcemanager.am.max-attempts, чтобы приложения Spark могли учитывать настройки пряжи.