У меня есть конвейер потоковой передачи в Apache Beam (python SDK), который потребляет данные из Google Pubsub, запрашивает дополнительную информацию во внутреннем API, а затем сохраняет данные в BigQuery.
Чтобы лучше кеш внутреннего API пользователя, я хотел бы обрабатывать сообщения не сразу, а через 5 минут.
Я пытался использовать время с отслеживанием состояния и время событий, но это не сработало. (https://beam.apache.org/blog/timely-processing/)
Есть ли способ добиться этого?