Где хранить код Dataflow и Cloud composer python?

Question

Это, наверное, глупый вопрос. В моем проекте мы будем использовать Dataflow и Cloud composer. Для этого я попросил разрешения создать экземпляр виртуальной машины в проекте GCP, чтобы сохранить программу Dataflow и Cloud composer python. Но клиент спросил меня о причине создания экземпляра виртуальной машины и сказал, что вы можете выполнить поток данных без экземпляра виртуальной машины.

Возможно ли это? Если да, как этого добиться? Может кто-нибудь, пожалуйста, объясните это? Это будет очень полезно для меня.

Answer 1

Вы можете запускать конвейеры потока данных или управлять Composer средами на своем компьютере, как только ваши учетные данные аутентифицированы , и у вас есть и Google SDK и Поток данных Python библиотека установлена. Однако это зависит от того, как вы хотите управлять своими ресурсами. Я предпочитаю использовать экземпляр виртуальной машины, чтобы иметь все ресурсы, которые я использую в облаке, где проще настроить сети VP C, включая различные сервисы. Кроме того, сохранение данных из экземпляра виртуальной машины в сегменты GCS обычно выполняется быстрее, чем с локального компьютера / сервера.