Объедините все файлы CSV в один CSV внутри AWS CLI

Question

У меня есть корзина S3 с папкой, называемой пакетами. В папке с пакетами у меня 20 CSV-файлов. Используя AWS ClI (или, точнее, bash файл), как я могу объединить все эти CSV-файлы в один CSV-файл и переместить его в одну папку.

Обычно в терминале я делаю это следующим образом:

cd batches && cat ./*csv > combined.csv

Как бы это можно было сделать для корзины S3 внутри AWS CLI?

Answer 1

Если у вас всего 20 CSV-файлов, то предложение Марцина, вероятно, является верным путем к go. Если у вас больше CSV большего размера, я бы предложил воспользоваться многокомпонентной загрузкой в ​​S3 и обработать их в aws лямбда.