Как сделать резервную копию набора данных в BigQuery? - PullRequest
0 голосов
/ 20 ноября 2018

Мы хотим создать резервную копию набора данных BigQuery на случай, если таблица случайно удалена, так как ее можно восстановить только в течение 2 дней .

Есть ли способ продлитьпродолжительность восстановительного периода?Если нет, то как мы можем создать резервную копию набора данных с периодом хранения 30 дней в BigQuery?

1 Ответ

0 голосов
/ 29 ноября 2018

В настоящее время невозможно продлить продолжительность периода восстановления.Запрос на возможность продлить период восстановления уже создан, как прокомментировал Katayoon.

Вот открытая ссылка для отслеживания прогресса в решении этой проблемы: https://issuetracker.google.com/120038872

Для резервного копирования наборов данных в BigQuery вы можете сделать копии своего набора данных или в качестве более работоспособного решения экспортироватьданные в облачное хранилище, чтобы вы могли импортировать их позже.Облачное хранилище позволяет вам установить срок хранения и политику жизненного цикла, которые вместе позволят вам убедиться, что данные остаются без изменений в течение желаемого периода времени, и что они удаляются через определенное время, если вы хотите сэкономить на хранении.

Как выполнить экспорт в BigQuery: вы можете экспортировать таблицы в виде файлов AVRO, JSON или CSV в облачное хранилище через веб-интерфейс, командную строку, API и используя различные языки, такие как C #, Go, Python иJava, пока оба находятся в одном месте.Существуют и другие ограничения для экспорта таблицы, такие как размер файла, целочисленная кодировка, сжатие данных и т. Д. Ссылка на экспорт таблицы и ограничения: https://cloud.google.com/bigquery/docs/exporting-data

Инструкции по процедурам можно найти здесь: Политики хранения и блокировка корзины: https://cloud.google.com/storage/docs/using-bucket-lock#lock-bucket Управление жизненным циклом объекта: https://cloud.google.com/storage/docs/managing-lifecycles

Загрузка данных в BigQuery может осуществляться с использованием различных форматов файлов, таких как CSV, JSON, Avro, Parquet или ORC.и так далее.На данный момент вы можете загрузить напрямую только из локального хранилища или из Google Storage.Подробнее о загрузке данных, форматах файлов, источниках данных и ограничениях, перейдя по ссылке: https://cloud.google.com/bigquery/docs/loading-data

Дополнительная информация об экспорте таблиц: https://cloud.google.com/bigquery/docs/exporting-data Ограничения экспорта: https://cloud.google.com/bigquery/docs/exporting-data#export_limitationsЗагрузка данных в BigQuery: https://cloud.google.com/bigquery/docs/loading-data Подстановочные знаки: https://cloud.google.com/storage/docs/gsutil/addlhelp/WildcardNames Объединение файла: https://cloud.google.com/storage/docs/gsutil/commands/compose

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...