У меня есть случай, когда в облачном хранилище Google может быть более 400 файлов деталей (результат экспорта больших запросов). В моем случае необходимо объединить все это в один выходной файл. Я попробовал gsutil compose, но столкнулся с двумя проблемами.
- Он может обрабатывать только 32 файла одновременно. Теперь допустим, что я могу использовать программный c способ создания al oop над кусками из 32 файлов, и я преодолеваю эту проблему, все же она приводит к другому
- Будет несколько заголовков, так как я не Отключение опции include_headers в экспорте BQ (потому что мне нужен заголовок в выходном файле)
Чувствуется, что мне нужно сложное решение, не загружая их куда-нибудь. Потому что, если я выберу решение, подобное этому, это может привести к дополнительному использованию ресурсов (я могу быть готов, если нет другого решения)
Примечание: я мог бы использовать поток данных для экспорта данных из bq в один файл. Так как мы выполняем эту задачу через облако composer, мы использовали оператор bq, а не поток данных, более поздний является сложным:
Кто-нибудь может сказать лучший подход здесь?