ETL с использованием AWS EMR

Question

Я новичок в AWS EMR, мне нужно выполнить следующую задачу, используя искру на EMR: -

шаг 1: - выберите файл xml из s3

шаг 2 : - выполнить преобразование xml данных

шаг 3: - сохранить результат в Elasticsearch или в любой СУБД

Мне нужна процедура выполнения этих шагов

Answer 1

Вы можете создать временный кластер для этого типа задания ... Выберите выполнение шага и включите завершение кластера по окончании задания.

Но если ваш вариант использования просто считывает данные из s3 и загружает их в elasti c search Я бы рекомендовал использовать AWS Glue, так как он бессерверный, и вам не нужно беспокоиться об управлении кластером, и вы можете платить как go.