Мы используем Qubole Kinesis Connector (jar) для структурированной потоковой передачи Spark. Раньше это работало нормально, но внезапно выдает ошибку «Файловая система S3 не найдена».
Мы могли бы использовать KCL, но нам нужно проверить его на foreachbatch. Существуют ли другие доступные разъемы Kinesis, обеспечивающие бесперебойную запись?