Spark WRITE JDBC - повторная попытка включения / выключения

Question

Я работаю над процессом чтения из базы данных DB2 с использованием Spark и загрузки в другую цель - у меня есть ситуация, когда, если какая-либо из задач завершается неудачей из-за какой-либо ошибки, spark автоматически повторяет попытки и перезапускает задачу;это поведение вызывает некоторые несоответствия данных при записи в цель.

Можем ли мы отключить это поведение?

Answer 1

Вы можете установить spark.task.maxFailures на 1, чтобы избежать повторных попыток выполнения задачи (значение по умолчанию - 4).От https://spark.apache.org/docs/latest/configuration.html:

Number of failures of any particular task before giving up on the job. The total number 
of failures spread across different tasks will not cause the job to fail; a particular 
task has to fail this number of attempts. Should be greater than or equal to 1. Number 
of allowed retries = this value - 1.