Big Query Импорт из пожарного магазина - PullRequest
Новая
       8

Big Query Импорт из пожарного магазина

0 голосов
/ 01 декабря 2018

Я рассматриваю BigQuery для решения, и я не уверен в его возможностях в отношении импорта (и не смог найти его документированным).

В настоящее время я использую Firestore и выполняю ежедневное резервное копирование.Я хотел бы взять эти резервные копии и импортировать их в BigQuery.Кажется, это очень хорошо поддерживается.

Мой вопрос заключается в том, будет ли каждый импорт получать полный набор данных (по сути, дублируя все, что не изменилось в тот день), или я могу настроить его для импорта только обновленных полей?Должен ли я написать полный ETL для этого или он уже поддерживается.

Спасибо.

1 Ответ

0 голосов
/ 11 декабря 2018

Каждый импорт в BigQuery будет иметь все поля по умолчанию .Вы не можете настроить его для импорта только обновленных полей.Однако вы можете использовать CLI или API для загрузки определенных полей, используя флаг - projection_fields в CLI или установив свойство projectionFields в API.Обратите внимание, что эта функция недоступна в веб-интерфейсе BigQuery.

Также обратите внимание, что в вашей таблице не будет дублированных данных, поскольку вы можете либо создать новую таблицу для хранения данных, либо перезаписать существующую таблицу при загрузке экспорта Cloud Firestore в BigQuery.Невозможно добавить данные экспорта Cloud Firestore в существующую таблицу в соответствии с текущими ограничениями .

Просматривая документы Cloud Firestore и BigQuery, кажется, что не существует инструмента ETL, который бы удовлетворял ваши потребностипрямо сейчас.Я поднял запрос BigQuery в Google Issue Tracker.Пожалуйста, добавьте следующую информацию к заявке, чтобы соответствующая команда могла быть уведомлена об этом:

  • Как это повлияет на вашу компанию и ежедневные задачи?
...