У меня есть сценарий использования, в котором мы должны объединить несколько небольших файлов (во многих случаях меньше 5 МБ), присутствующих в нескольких местах S3.Мы пытались сделать это, используя Java, EMR / spark, но время, затрачиваемое на выполнение задачи, очень велико.Например, чтобы объединить 7000 файлов, представленных в одном месте, искра заняла 1,5-2 минуты.Я знаю, что 7000 - очень небольшое число, и искра не идеальное решение, чтобы сделать то же самое.Любое предложение по любой технологии Java / AWS для решения моего сценария использования.