Архивное решение для таблиц BigQuery в Datawarehouse - PullRequest
0 голосов
/ 13 февраля 2019

Учитывая сценарий использования для построения хранилища данных с использованием BigQuery, скажите, нужно ли делать ежемесячное резервное копирование для всех таблиц BigQuery.Что было бы лучшим вариантом?

  • Экспорт всех данных таблицы в облачное хранилище (csv?)
  • Скопируйте все таблицы в другой набор данных (и в другом проекте это может быть)

Какой будет наилучший вариант, учитывая стоимость и обслуживание?А также, пожалуйста, поделитесь, если какие-либо другие варианты.

1 Ответ

0 голосов
/ 21 февраля 2019

При переносе данных из BigQuery в GCS вы не платите за операцию экспорта и загрузки, как указано в документации Свободная операция ;однако вы берете на себя плату за хранение данных в GCS , которая будет зависеть от типа выбранного хранилища.Эта услуга предлагает опции Multi-Regional , Regional , Nearline и Coldline , которые вы можете выбрать в зависимости от частоты, которую вам нужнодоступ к хранимым данным.

Исходя из этого, если вы хотите делать резервные копии и не имеете частого доступа к данным, вы можете хранить свои данные в GCS с помощью Coldline / Хранение на близком расстоянии или использование Долгосрочного хранения в BigQuery, которое автоматически применяется, когда таблица не редактируется в течение 90 дней подряд, и это может быть более дешевым вариантом,С другой стороны, если вы планируете активно использовать ваши данные, может быть лучше использовать BigQuery с Active Storage , что обойдется вам дешевле, чем если бы вы хранили его в GCS с региональным хранилищем;тем не менее, это будет зависеть от ваших конкретных сценариев использования и способа взаимодействия с вашими данными.

Что касается формата загружаемого файла, BigQuery поддерживает множество форматов, которые вы можете использовать для загрузки своих данных.Я предлагаю вам проверить эту документацию , которая может помочь вам выбрать формат, наиболее подходящий для вашего текущего сценария, на основе вашей структуры данных.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...