Я пытаюсь понять, как поток данных / Beam управляет состоянием. Например, при использовании потоков kafka можно остановить и перезапустить приложение и перейти к последнему состоянию.
Имеет ли Beam / Dataflow аналогичные возможности?
Хотя вы не можете сделать снимок состояния Dataflow сегодня, вы можете сделать снимок подписки Pub / Sub, откуда Dataflow получает свои данные, и перезапустить позже. Просмотрите Cloud Pub / Sub Seek и функцию воспроизведения. Подробнее об интеграции можно узнать здесь .