Я не знаю, как интерпретировать функцию [Set Retry Policy] для одного задания Databricks / Spark, где я использую модель программирования структурированного потокового вещания (readStream / writeStream). Можно выбрать две настройки:
Retry at most _x_ and wait _y_ between retries.
Когда я установил для x значение [Неограничено], я увидел огромную задержку (лаг) между текущей датой и событиями, полученными в потоке (например, через шесть часов). дней после 14 дней). Итак, я попробовал первый выбор, х = 1 и у = 1 мин. Результатом было прерывание работы после 1 попытки. Что означает задание не удалось для задания Spark, когда потребитель (структурированная потоковая передача Spark) ожидает получения сообщений и, возможно, производитель не синхронизирован c в течение 5 минут? Я ищу некоторые настройки, которые позволяют мне оставаться в синхронизации c навсегда между производителем и потребителем.
Заранее благодарю за помощь!