У меня есть приложение Spark Structured Streaming, которое принимает сообщения из нескольких тем Kafka и записывает результаты в другую тему Kafka.Чтобы сохранить целостность данных, необходимо поддерживать порядок сообщений в исходных разделах.Таким образом, если сообщение A
предшествует сообщению B
в разделе, processed(A)
должно быть записано в тему вывода до processed(B)
(обработанные A и B также перейдут в тот же раздел, что и та же хеш-строка).
Гарантирует ли Spark Structured Streaming это?