Я разрабатываю приложение, которое должно читать текстовый файл из S3 каждые 15 минут, анализировать данные, разделенные |и загрузите эти данные в аэрокосмический кластер в трех разных регионах.Размер файла может варьироваться от 0 до 32 ГБ, а количество записей в нем может составлять от 5 до 130 млн.
Я планирую развернуть пользовательский процесс Java в каждом регионе AWS, который будет загружать файл изS3 и загружает в аэроспайк, используя несколько потоков.
Я только что наткнулся на клей AWS.Кто-нибудь может сказать мне, могу ли я использовать клей aws, чтобы загрузить этот большой кусок данных в аэроспайк?или любая другая рекомендация по созданию эффективного и производительного приложения?
Заранее спасибо!