Снизить GCP DataFlow?

Question

Используя стандартный GCP, предоставленный Storage / text file для шаблона PubSub DataFlow, но хотя я установил #workernodes eq 1, поток обрабатываемых сообщений "слишком высок" для нижестоящих компонентов.

CloudFunction, которая запускается при событии сообщения в Pub / Sub, достигает квоты GCP, и с CloudRun я получаю кучу ошибок 500, 429 и 503 в начале (из-за скорости пакетной передачи).

Есть ли способ контролировать скорость обработки DataFlow? Нужно получить более плавный / медленный запуск, чтобы у последующих компонентов было время для увеличения.

Кто-нибудь?

Answer 1

Вы можете использовать Stateful ParDo для достижения этой цели, где вы можете буферизовать события в пакетах и ​​сделать вызов API со всеми ключами одновременно. Это очень хорошо объясняется с помощью фрагментов кода здесь