В какой-то момент я знаю, что в поток больше не приходят сообщения.Как я могу определить, что все сообщения обрабатываются потоком Spark?
Я хочу использовать эту информацию для (1) выключения кластера, (2) для отправки события «работа выполнена» другим сторонам.
Подробности:
- В данный момент я еще не считаю входящие сообщения.
- Обработанное сообщение приводит к созданию файла в корзине S3.