Невозможно запустить задание потока данных из-за ограничения региона + зоны

Question

Наши данные и наша сеть сконфигурированы в северо-американском северо-восточном регионе.

Мы хотим запустить задание потока данных для обработки нашего входного файла и загрузки в таблицу BigQuery. Наше хранилище и BigQuery также настроены в том же регионе northamerica-northeast1.

Однако, когда мы запускаем задание: мы получаем следующую ошибку -

The workflow could not be created, since it was sent to an invalid or unreleased region. Please resubmit with a valid region.",

Мы передаем следующие аргументы наше задание потока данных: --region Northamerica-Northeast1 - Zone Northamerica-Northeast1-A

Теперь, как указано ниже КБ - https://cloud.google.com/dataflow/docs/concepts/regional-endpoints Поток данных не имеет региональной конечной точки в Northamerica -northeast1. Однако мы можем переопределить зону.

Любая помощь в том, как мы можем сделать то же самое. Как мы можем запустить работу тогда в northamerica-northeast1.

Answer 1

Вы можете посмотреть на эту таблицу https://cloud.google.com/dataflow/docs/concepts/regional-endpoints#commonscenarios. Для сценария, который вы упомянули ниже, необходимо выполнить настройку

I need worker processing to occur in a specific region that does not have a regional endpoint.  

Specify both --region and --zone.
Use --region to specify the supported regional endpoint that is closest to the zone where the worker processing must occur. Use --zone to specify a zone within the desired region where worker processing must occur.