У нас есть потоковое приложение с искровым структурированием, работающее в производстве с внутренним управляемым Kafka (назовем его kafka-inhouse)
Мы решили перейти на aiven kafka cloud.
Предполагается:
Мы принимаем все сообщения с kafka-inhouse, а затем новые сообщения публикуются на aiven kafka cloud
path и checkpoint в S3, где мы храним сообщения Kafka (с помощью приложения потоковой передачи искры), не меняются.
Вопрос:
Будет ли структурированный поток Spark легко управлять изменениями в брокерах Kafka, особенно checkpointing после того, как мы мигрируем?