BigQuery экспортирует данные в один большой файл

Question

Документы BigQuery говорят нам об ограничениях на запрос, один файл не может быть больше 1 Гб, и это правда, но не всегда.Я сделал новый экспорт и был удивлен, файл имел размер 6 Гб.И этот большой файл - проблема для меня.

Что я могу сделать для уменьшения размера файла и почему BigQuery сделал такой большой файл?

Answer 1

Размер файла экспорта BigQuery варьируется, и бывают случаи, когда он разбивается на файл размером более 1 ГБ или на множество файлов небольшого размера.

По этому поводу была подана открытая проблема , но она включала только изменение документации, чтобы установить ожидания при изменении размера файла экспорта

Похоже, что другие также сталкиваются с проблемой:

• https://stackoverflow.com/questions/44117092
• https://stackoverflow.com/questions/51405594

Вы можете попробовать новый экспорт, но если размеры файла экспорта постоянно превышают 1 ГБ, выможет сообщить о публичном выпуске с момента рассмотрения этого непредсказуемого поведения.