Google Cloud европейские регионы не соответствуют запросам и потоку данных - PullRequest
0 голосов
/ 21 февраля 2020

В документах для наборов данных bigquery указано, что доступны следующие европейские регионы (A):

  • европа-север1
  • европа-запад3
  • европа-запад2
  • европа-запад6

документы для состояний потока данных это доступные европейские регионы (B):

  • europe-west1
  • europe-west4

Как видите, между этими регионами нет совпадений.

Мы создаем приложение, которое

  • Создание наборов данных, таблиц больших запросов и т. Д. c и c из php бэкэнда.
  • Разгрузка при перемещении данных из различных источников в bigquery для потока данных с использованием python сценарии

Мы были достаточно глупы (задним числом), чтобы разделить наш проект на две части, которые были выполнены независимо. Оба работают. Никому и в голову не приходило, что это станет нашей проблемой (должно быть уже очевидно):

  • API php не может работать с B
  • Сценарии потока данных могут ' Работа с A
  • Поток данных не может читать и записывать между регионами
  • Мы не можем разместить наши данные за пределами ЕС по соображениям соответствия.

Как мы решаем наш улов 22?

1 Ответ

2 голосов
/ 23 февраля 2020

Вы путаете Regional Endpoint с фактическим регионом / зоной, в которой рабочие виртуальные машины запускаются для конвейера потока данных и которые фактически обрабатывают данные.

Regional Endpoint обрабатывает метаданные и организует ваш конвейер потока данных. Если вы укажете --zone, то это зона, в которой будут вращаться фактические рабочие виртуальные машины для потока данных.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...