Поддерживает ли Spark Structured Streaming порядок сообщений Kafka? - PullRequest
0 голосов
/ 11 июня 2019

У меня есть приложение Spark Structured Streaming, которое принимает сообщения из нескольких тем Kafka и записывает результаты в другую тему Kafka.Чтобы сохранить целостность данных, необходимо поддерживать порядок сообщений в исходных разделах.Таким образом, если сообщение A предшествует сообщению B в разделе, processed(A) должно быть записано в тему вывода до processed(B) (обработанные A и B также перейдут в тот же раздел, что и та же хеш-строка).

Гарантирует ли Spark Structured Streaming это?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...