BigQuery запрашивает данные напрямую из экспортируемого файла хранилища с хранилищем данных - PullRequest
Новая
       11

BigQuery запрашивает данные напрямую из экспортируемого файла хранилища с хранилищем данных

0 голосов
/ 12 марта 2019

Мне интересно, поддерживает ли BigQuery запрос к хранилищу экспортированных файлов хранилища данных в облачном хранилище?Пример кода показывает только то, как запрашивать CSV и GOOGLE_SHEETS , но экспортированный файл хранилища данных - "orts.export_metadata ".Если это поддерживается, что ExternalConfig должно быть?Любой пример для справки?

Любое предложение приветствуется, спасибо.

1 Ответ

1 голос
/ 12 марта 2019

ExternalConfig ссылается на внешний источник.

BigQuery поддерживает 3 типа внешних источников, как определено в Здесь

Файлы облачного хранилища Форматы определены здесь

Значения, разделенные запятыми (CSV)

JSON (с новой строкой)

Avro файлы

Экспорт хранилища данных Cloud

Экспорт хранилища облачных файлов

Для справки: вот как это выглядит в реализации Python код из github 

CSV = 'CSV'
    """Specifies CSV format."""

    GOOGLE_SHEETS = 'GOOGLE_SHEETS'
    """Specifies Google Sheets format."""

    NEWLINE_DELIMITED_JSON = 'NEWLINE_DELIMITED_JSON'
    """Specifies newline delimited JSON format."""

    AVRO = 'AVRO'
    """Specifies Avro format."""

    DATASTORE_BACKUP = 'DATASTORE_BACKUP'
    """Specifies datastore backup format"""

    BIGTABLE = 'BIGTABLE'
    """Specifies Bigtable format."""

Так что, если ваш файл в одном из этих форматов, вы можете пойти

...