Вы можете достичь этого за 2 шага.
Шаг 1 - Загрузите файл CSV.
wget <s3-csv-url>
Шаг 2 - Используйте mysqlimport для импорта данных из csv в вашу базу данных MySQL.
Если вы используете экземпляр Aurora, вы можете просто использовать команду LOAD для импорта данных из S3 в таблицу базы данных.