Я создаю конвейер копирования из SFTP в HDFS Azure Data Lake.SFTP-файл упакован в архив и содержит несколько CSV-файлов, поэтому в параметрах набора данных я установил ZipDeflate в качестве типа сжатия.Конвейер работает правильно, но я не понимаю, почему он создает папку в наборе данных приемника (Azure Data Lake) с тем же именем zip-файла.Я имею в виду: если имя файла STFP - foobar.zip, в озере данных Azure все файлы csv копируются в /path/to/my/folder/foobar.zip/001.csv, / path / to / my / folder /foobar.zip/002.csv и т. д. реальная проблема заключается в том, что у меня есть несколько zip-файлов в исходном SFTP, и я использую подстановочный знак, чтобы скопировать их все, но я хотел бы сохранить все полученные csv-файлы водна папка назначения, но кажется, что это невозможно.
Так, например:
- SFTP содержит: foobar_01.zip, foobar_02.zip
- Я используюподстановочный файл: foobar * .zip
- Я использую тип сжатия: ZipDeflate
- В Azure Data Lake файлы копируются в /path/to/my/folder/foobar_01.zip/*.csv,/path/to/my/folder/foobar_02.zip/.csv
Есть ли способ решить и собрать все файлы csv в /path/to/my/folder/*.csv?
Спасибо