Я строю конвейер с помощью Beam Python.У меня есть поток событий, поступающих из PubSub с userId и buttonId.У меня есть глобальное окно, которое показывает, сколько раз была нажата кнопка для всех пользователей.
Если через некоторое время сервер перезапустится, запустив Direct Runner / Flink Runner, будет ли состояние глобального окна восстановлено в конвейере?
Как работает отказоустойчивость в Beam?
Как отслеживается смещение / контрольная точка для PubSub?
В документации Beam говорится:
Хранение и отказоустойчивость состояния:так как состояние для каждого ключа и окна, чем больше ключей и окон вы ожидаете обрабатывать одновременно, тем больше места вам потребуется ».
Однако я не могу найти больше информации по этому вопросу.