Невозможно извлечь данные в одном файле .csv из Google Big Query (хотя данные меньше 1 ГБ)

Question

Я могу экспортировать данные в 4 разных файлах по 90 МБ каждый.(что не имеет смысла)

Я ознакомился с ограничениями Google Big Query, и в нем говорится, что данные размером более 1 ГБ не могут быть загружены в один файл CSV.

Размер моих данных составляет около 250 - 300 МБ.

Это то, что я обычно делаю, чтобы экспортировать данные из GBQ:

Я сохранил таблицу в Google Big Query (поскольку она имеет более16000 строк)

Затем экспортируйте его в Bucket следующим образом:

 gs://[your_bucket]/file-name-*.csv

Я думаю, что 2M строк данных меньше 1 ГБ.(Дайте мне знать, если я ошибаюсь)

Могу ли я получить эти данные в одном файле CSV?

Спасибо.

Answer 1

Вы можете получить читаемый поток node.js, содержащий результат вашего запроса (https://cloud.google.com/nodejs/docs/reference/bigquery/2.0.x/BigQuery#createQueryStream). Блок данных - это строка набора результатов. Затем записать данные (строка за строкой) в CSV (локально или в облако).хранение).

Answer 2

Вы должны удалить шаблон из имени большого двоичного объекта, в который хотите написать. Это говорит BQ, что вы хотите экспортировать как несколько файлов.

Так что вам лучше экспортировать в gs://[your_bucket]/file-name.csv

Как вы заметили, это не будет работать, если ваши данныебольше, чем 1 ГБ, но вы должны быть в порядке, если общий объем составляет около 300 МБ.