Поддерживает ли Spark порядок обработки сообщений из потока Kinesis? - PullRequest
0 голосов
/ 24 мая 2019

Если мы обрабатываем сообщение потока Kinesis от Spark на EMR, поддерживает ли искра порядок (в шарде).

Например, предположим, что мы обрабатываем сообщения от пользовательской функции карты, которая вставляет записи в базу данных с помощью вызова API.Будут ли эти сообщения вставляться по порядку (на шард) в базу данных?Кроме того, ограничен ли параллелизм количеством осколков или Spark может еще больше распараллелить внутри осколка?

Спасибо

...