сравнить строки между S3 Bucket и CSV-файл и отправить в S3

Question

У меня есть s3 ведро с zip-файлами.путь к zip-файлам s3: //bucketName/tech/type/serialNumber.

У меня также есть CSV-файл, который содержит region, serialNumber и тип

Мне нужно сравнить serialNumber инаберите из s3 bucket с serialNumber, введите из csv и загрузите папку с zip-файлами в другое ведро s3, расположенное под регионом, который выровнен по этому серийному номеру, и введите из csv.

Я понятия не имею, как даже запустить:) Я надеюсь, что объясню себя достаточно хорошо

** я пишу сценарий на bash

Спасибо

Answer 1

Один из подходов заключается в загрузке исходных данных в базу данных .

Затем ваше приложение может прочитать CSV-файл и запросить базу данных для получения соответствующей информации.(Вот почему существуют базы данных!)

Другой подход заключается в том, чтобы ваше приложение читало файл CSV.Для каждой записи будет загружать соответствующий файл с S3 и обрабатывать его по мере необходимости.

Или вы можете просто загрузить все данные с S3 и делать все локально (что может означать на вашем компьютере или в инстансе Amazon EC2).

Я предлагаю вам выбрать язык программирования (например, Python), а не пытатьсясделать это в bash.