Azure Фабрика данных объединяет паркетные файлы по папкам

Question

У меня есть учетная запись ADLS Gen2 (включена HNS) с паркетными файлами в этом формате:

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Parquet file 01
     -Parquet file 02
     -...

Я хочу использовать Azure Фабрику данных для объединения паркетных файлов самого нижнего уровня в один файл , окончательная структура должна выглядеть так.

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Merged Parquet File

Если я использую «Копировать данные», я могу выбирать только между «Объединить файлы» и «Сохранить Hirach ie». Есть ли способ сделать это? Спасибо за помощь!

Answer 1

Если объединение файлов не работает для вас в операции копирования, вы можете использовать поток данных, а преобразование Union может объединить несколько файлов в один выходной файл.