Поток данных Apache Beam: параметры GoogleCloudOptions не найдены при запуске ресурса Terraform google_dataflow_job - PullRequest
Новая
       48

Поток данных Apache Beam: параметры GoogleCloudOptions не найдены при запуске ресурса Terraform google_dataflow_job

0 голосов
/ 27 июня 2019

Ошибка

google_dataflow_job.validate-job: googleapi: Ошибка 400: (a9596c1f713a1bd6): рабочий процесс не может быть создан.Причины: (a9596c1f713a1919): Найдены неожиданные параметры: ['подсеть' (возможно, вы имели в виду 'бегуна'), 'use_public_ips' (возможно, вы имели в виду 'beam_plugins')]], badRequest

Код Terraform 

resource "google_dataflow_job" "validate-job" {
   name = "validate-job"
   project = "${var.gcp_project_us["${terraform.workspace}"]}"
   template_gcs_path = "gs://my_bucket/templates/validate"
   temp_gcs_location = "gs://my_bucket/temp"
   zone = "us-central1-a"
   parameters = {
    runner = "DataflowRunner"
    streaming = true
    use_public_ips = true
    subnetwork = "https://www.googleapis.com/compute/v1/projects/some_project/regions/us-central1/subnetworks/some_sub_network"
  }
}

Код задания Apache Beam 

options = PipelineOptions()
with beam.Pipeline(options=options) as gcp:

Как правильно разрешить корректную обработку переменных параметров use_publics_ips и подсети в параметрах?

После долгих исследований я считаю, что это как-то связано с PipelineOptions в разделе Apache Beam Job Code.

...