Я написал структурированное потоковое задание, которое считывает данные из топики Кафки c и записывает данные в S3. Я хочу добавить автоматический c повтора для настраиваемого номера. раз, а затем подать предупреждение, когда счетчик ошибок достигнет этого порога.
Databriks имеет этот документ, но это для пользователей блоков данных https://databricks.com/blog/2017/05/18/taking-apache-sparks-structured-structured-streaming-to-production.html
Как подать заявку оповещение и мониторинг, если мы apache искра пользователей?