Да, хранение данных в облачном хранилище - большое преимущество при разработке. В моих случаях я часто создаю таблицу BigQuery из данных в облачном хранилище несколько раз, пока не настрою все, например схему, модель, разбиение, устранение ошибок и т. Д. c. Загрузка данных каждый раз займет действительно много времени.
Облачное хранилище в BigQuery
Плюсы
- загрузка данных происходит невероятно быстро
- возможно удалить таблицу BQ, когда она не используется, и импортировать ее при необходимости (таблица BQ намного больше, чем обычные, возможно сжатые данные в облачном хранилище)
- вы сохраняете локальное хранилище
- менее вероятен сбой во время создания таблицы (из локального хранилища могут возникнуть проблемы с сетью, проблемы с компьютером и т. д. c.)
Минусы
- вы платите дополнительную плату за хранение (в случае, если вы не планируете часто прикасаться к своим данным, например, один раз в месяц - вы можете снизить цену, чтобы использовать ближайшее хранилище)
Так что я бы go для хранения данных в облачном хранилище во-первых, но, конечно, это зависит от вашего варианта использования.