Трубопровод в GCP

Question

У меня много данных, которые регулярно собираются из источников данных и хранятся в корзинах GCS. В настоящее время они хранятся в одном местном регионе (Лондон). Мы транслируем эти данные с помощью ETL, используя комбинацию сервисов GCP (например, функции составителя, потока данных или облачных функций и т. Д.), В таблицы BigQuery, которые находятся в том же регионе (например, europe-west2 London).

в дополнение к этомуЯ хотел бы передать эти данные (например, сегменты) в разные таблицы BQ, расположенные в разных регионах.

Итак, в итоге вы получите большие таблицы запросов, расположенные в двух разных регионах, а именно:

GCS-контейнеры: проект 1, сегменты в Лондоне (европа-запад2)

Выход 1: таблица BQ для проекта1 регион1 (Европа-запад2 Лондон) - (существующий)

ожидается: выход2: таблица BQ для проекта2 регион2 (ЕС) - либо в нескольких регионах, либо в качестве альтернативы Бельгия

Могу ли я сделать это и как мне сделать это эффективно?

Ценю предложение и помощь по этому вопросу. Спасибо!

Answer 1

Помимо межрегиональной копии, вы можете спроектировать конвейер, в котором вы читаете файлы из GCS и перенаправляете его в Pub-Sub Topic. Тогда из темы Pub-Sub вы можете отправить его в конкретный регион BigQuery?

Answer 2

Один из вариантов - использование межрегиональной копии BigQuery вашего набора данных . Эта функция в настоящее время находится в бета-версии и на данный момент бесплатна (обратите внимание, что она не всегда может быть бесплатной).

Несмотря на то, что услуга находится в ограниченном расположении, поддерживается Европа-Запад2 и ЕС.