Облачный поток данных Google для потоковой передачи, когда поток данных автоматически отключится и очистит экземпляры виртуальных машин?

Question

На основании документа https://cloud.google.com/dataflow/docs/resources/faq

"Однако, как только ваша работа завершится или произойдет сбой, служба облачных данных автоматически отключится и очистит экземпляры виртуальной машины."

Это легко понять для Batch.Но для потоковой передачи сообщение pub / sub будет продолжать поступать, как поток данных обрабатывает это?неэффективно продолжать выключать и очищать экземпляры виртуальных машин.Но также экономически невыгодно постоянно поддерживать экземпляры виртуальных машин.

Спасибо

Answer 1

В случае потокового задания потока данных виртуальные машины будут работать до тех пор, пока вы не завершите свою работу.Если у вас нет постоянного потока сообщений, поступающих через pubsub, вы можете обратиться к заданиям cron для пакетного потока данных (https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions)) или использовать меньшие рабочие узлы для потоковой работы, чтобы снизить затраты.