У меня есть куча маленьких json-файлов, и я хочу переместить их в больший набор файлов.Когда я использую S3DistCp с groupBy, я получаю объединенный файл, но символы новой строки в исходных файлах пропали.Таким образом, каждый файл выглядит как одна длинная строка.Мне нужно, чтобы каждая строка json была отдельной строкой.
Это команда, которую я выполняю:
s3-dist-cp --src=s3://pxxxxxx/syyyy/Dzzz/ --dest=s3://pxxxxxx/syyyy/dzzzCopyTest --s3ServerSideEncryption --groupBy="^.*\/(loadeddate\=\d*)\/(baseuri\=\w*)\/.*\.json"