Режим перезаписи Spark и одновременное выполнение

Question

У меня есть искра, когда я использую режим перезаписи, например:

  .repartition(10)
      .write
      .mode("overwrite")

Это работает нормально, но из-за некоторой ошибки кода мы в конечном итоге начинаем многократное одновременное выполнение одной и той же работы и в результате дублируем данные впапка s3.

• Есть ли способ справиться с параллелизмом и режимом перезаписи?

Если нет,

• Есть ли способ быстро потерпеть неудачу?

Answer 1

В Spark по умолчанию максимальное количество попыток будет равно двум.Установите значение 1 в команде Spark Submit --conf spark.yarn.maxAppAttempts = 1

Answer 2

Есть ли способ справиться с режимом параллелизма и перезаписи?

не без какой-либо координации более высокого уровня

Есть ли способ потерпеть неудачуfast?

не использовать перезапись

Общепринятым условием является «напиши где-нибудь, затем переименуй на место», полагаясь на переименование, являющееся быстрым атомарным средством исключительно совершения работы.Но поскольку S3 не работает таким образом, вы также не можете на это полагаться.