Чтение CSV-файлов из S3 в EC2 с использованием Java

Question

В текущей реализации у меня есть Java-код, который фактически читает 2 или более CSV-файлов, объединяет данные на основе бизнес-логики и сохраняет данные в новый CSV-файл. Этот jav-файл jav запускается в TIBCO путем просмотра каталога, т. Е. При размещении нового набора файлов запускается этот java-код. Все хорошо и работает хорошо, но из-за облака AWS требуется разместить экземпляр EC2 и выполнить этот код Java, но не использовать TIBCO для запуска, а не для создания некоторого приложения Java (например, автономного / фонового процесса). Поскольку я не из Java-фона, я не уверен, как реализовать этот автономный / фоновый процесс, который следит за папкой S3 и запускает процесс. Любая помощь будет оценена.

Answer 1

Похоже, ваше требование:

• Файлы загружаются в Amazon S3
• Это должно вызвать запуск некоторого кода для обработки файлов
• Затем (предположительно)сохраните полученный файл обратно в Amazon S3

. Лучший способ сделать это:

• Настройка Amazon S3 Event в корзинедля запуска лямбда-функции AWS при загрузке файла
• Лямбда-функции будут предоставлены Имя корзины и Ключ (имя файла) нового объекта
• ЛямбдаЗатем функция может запустить собственный код для обработки файлов, включая загрузку из / загрузку в Amazon S3

Преимущество этого метода заключается в том, что вы выполняете , а не требуется экземпляр Amazon EC2.Вместо этого функция Lambda будет запускать, выполнять и завершать работу как функция без сервера .

Функция Lambda может быть написана на разных языках, таких как Java, Python, .Net, Goи т. д.

Просмотрите документацию и образцы.

См .: Использование AWS Lambda с Amazon S3 - AWS Lambda

Одна вещьЯ не уверен, что должен делать ваш код, но лямбда-функция запускается для каждого загруженного файла .Поэтому, если цель состоит в том, чтобы объединить несколько файлов в один файл, вам необходимо выяснить, что должно запускать задание.Это может включать игнорирование определенных файлов до тех пор, пока не появится нужный файл, который запустит процесс.