У меня есть файлы деталей с каталогом s3, как показано ниже:
part-00001.gz
part-09999.gz
Мне нужно объединить все эти файлы деталейв файлы размером 2 ГБ
Вот моя команда:
s3-dist-cp --src s3://mybucket/bop/export/source/ --dest s3://mybucket/bop/export/destination/ --groupBy='.*(part).*' --targetSize=2048
Но то, что я получаю в пределах места назначения, снова является частью файлов.
part-00001.gz
part-09999.gz
Может кто-нибудь указать, что я делаю неправильно?