Есть ли способ обновить задание Dataflow с помощью команды gcloud? - PullRequest
Новая
       43

Есть ли способ обновить задание Dataflow с помощью команды gcloud?

0 голосов
/ 16 июня 2020

Я пытаюсь написать сценарий для автоматизации развертывания задания Java Dataflow. Сценарий создает шаблон, а затем использует команду 

gcloud dataflow jobs run my-job --gcs-location=gs://my_bucket/template

Проблема в том, что я хочу обновить задание, если оно уже существует и выполняется. Я могу выполнить обновление, если я запустил задание через maven, но мне нужно сделать это через gcloud, чтобы у меня была учетная запись службы для развертывания и еще одна для выполнения задания. Я пробовал разные вещи (добавляя --parameters update в командную строку), но всегда получаю ошибку. Есть ли способ обновить задание потока данных исключительно через запуск заданий потока данных gcloud?

1 Ответ

1 голос
/ 17 июня 2020

Ссылаясь на официальную документацию , в которой описывается gcloud beta dataflow jobs - группа подкоманд для работы с заданиями Dataflow, нет возможности использовать gcloud для обновления задания.

На данный момент пакеты SDK Apache Beam позволяют обновить текущее задание потоковой передачи в управляемой службе Dataflow с помощью нового кода конвейера. Дополнительные сведения можно найти здесь . Другой способ обновить существующее задание потока данных - использовать REST API , где вы можете найти пример Java.

Кроме того, следуйте Запрос функции относительно повторного создания задания с gcloud.

...