Как остановить потоковую передачу искры до тех пор, пока не будут обработаны данные, полученные в течение пакета? - PullRequest
0 голосов
/ 11 июня 2018

У меня есть ситуация, когда я собирал данные из кинесиса AWS для запуска Apache по потоковой передаче.После того, как я получаю данные за период, я обрабатываю эти данные и обновляю их в cassandra.Здесь обработка должна выполняться таким образом, чтобы до тех пор, пока результат не будет обновлен в Кассандре, спарк не должен получать следующую партию записей.Итак, как остановить потоковую передачу следующего пакета записи, пока текущий пакет не будет обработан?

1 Ответ

0 голосов
/ 12 июня 2018

Spark Streaming не поддерживает этот тип функций.Вы можете просто проверить количество строк после получения данных от kinesis для каждого пакета, если нет записи (количество равно нулю), не вызывайте API обновления и вставки cassandra.

...