Экспорт результатов запроса из BigQuery в Postgres

Question

Я пытаюсь экспортировать результаты запроса в BigQuery и получить данные в Postgres.Данные могут быть как 250 миллионов записей, ~ 26 Гб.

Опция 1:

Сохранение результатов запроса во временную таблицу Экспорт таблицы в csv (s) Массовое сохранение в postgres

(Это будет медленно)

Вариант 2:

Каким-то образом заставить две БД говорить напрямую. Я не знаю, возможно ли это

Спасибо за любую информацию !!!

Answer 1

Этот упаковщик внешних данных BigQuery для postgreSQL позволяет запрашивать BigQuery непосредственно из PostgreSQL.Использование этого и оператора SELECT INTO должно позволить вам эффективно и напрямую копировать данные из BigQuery в PostgreSQL.