Вывод файла CSV разделяется с помощью плагина Google Cloud Storage Sink

Question

Я использовал плагин облачного хранилища Google в категории Sink в конвейере, чтобы получить вывод в формате CSV. После выполнения конвейера полученный результат поступает в несколько файлов после разделения. Это правильное поведение этого плагина? если это так, то есть ли способ получить консолидированный вывод в одном файле?

Отредактировано: Похоже, это правильное поведение плагина, упомянутое в https://cloud.google.com/storage/docs/composite-objects., для поддержки параллельной загрузки. но теперь мой вопрос: есть ли простой способ создать все эти разделенные файлы?

Answer 1

В выходном каталоге найдено несколько файлов, это ожидаемое поведение, поскольку Cloud Data Fusion использует Spark / MapReduce, чтобы распараллелить выполнение логики конвейера.

При объединении выходных файлов в один, есть ли у вас какие-либо требования к оформлению заказа?