В настоящее время я использую предлагаемое расширение aws_s3.table_import_from_s3 для импорта множества больших .csv.gz файлов из S3 в Aurora.
Однако это все еще действительно занимает много времени. У нас более 60 тыс. Файлов, каждый размером более 150 МБ.
В настоящее время у меня есть скрипт, который просматривает файлы. Я понимаю, что мы могли бы распараллелить это, но даже на самых мощных блоках, доступных для нашего безсерверного Aurora, мы достигли довольно высокой загрузки процессора. Могу ли я что-нибудь сделать для массового импорта по более высокой ставке?