У меня есть случай, когда я передаю информацию из kafka в , имел oop и asticsearch , используя Apache Spark Структурированная потоковая передача в Scala. Есть ли способ отклонить неверные записи в потоке, а не ждать завершения в потоке?
Использование spark.streams.awaitAnyTermination(), которое работает для фиксации сбоя, но хотело бы, чтобы процесс отклонял запись, а не убивал Служба искры.