S3 загрузить сплит выход

Question

У меня интересный случай.Мне нужно загрузить tar-файл, разделенный по linux split, прямо в корзину S3.У меня недостаточно дискового пространства и времени для создания одного большого файла .tar и его следующего разбиения, поэтому я пытаюсь использовать конвейеры:

tar -cvf - example-file.log | split -b 10k -d - "tarpart-" | aws s3 cp - s3://mybucket/

К сожалению, у меня нет частеймоего файла в S3, только только:

aws s3 ls s3://mybucket
2019-02-14 13:07:38          0 -

Я не уверен, есть ли способ загрузить несколько файлов с неопределенными именами, но, возможно, у кого-то была такая же проблема?

Answer 1

Наконец я нашел решение:

# tar -cvf - install.post.log | split -d -b 4k -a 4 - splitted_ --filter='aws s3 cp - s3://testb/$FILE'
install.post.log
# aws s3 ls s3://testb
2019-02-14 14:49:38      40960 -
2019-02-14 14:55:09       4096 splitted_0000
2019-02-14 14:55:10       4096 splitted_0001
2019-02-14 14:55:11       4096 splitted_0002
2019-02-14 14:55:11       4096 splitted_0003
2019-02-14 14:55:12       4096 splitted_0004
2019-02-14 14:55:13       4096 splitted_0005
2019-02-14 14:55:13       4096 splitted_0006
2019-02-14 14:55:14       4096 splitted_0007
2019-02-14 14:55:14       4096 splitted_0008
2019-02-14 14:55:15       4096 splitted_0009