Необходимо понимать, как настроить функцию уменьшения типа карты для импорта 50K контактов из файла CSV с использованием ресурсов AWS - PullRequest
0 голосов
/ 13 февраля 2020

У меня есть требование импортировать 50К (это число меняется) записей в нашей базе данных, применяя бизнес-логику к каждой записи (или большую часть записей), я планирую реализовать это, разбив набор записей на несколько кусков по 500 записей и отправив сообщения в очередь hornetq, где MDB обрабатывает порцию записей. Это решение помогает мне распределить процесс по нескольким процессам благодаря наличию пула MDB из 30 потоков, а также, поскольку я использую постоянные очереди, мои сообщения сохраняются и, следовательно, в случае сбоя весь процесс не затрагивается. Во-первых, я хотел бы знать, является ли это идеальным подходом, и, во-вторых, поскольку мы полностью находимся в AWS, существуют ли решения (или комбинации) в AWS, которые предназначены для обработки подобных приложений.

1 Ответ

0 голосов
/ 13 февраля 2020

Если вы так указали c для Map Reduce, go впереди и используете AWS Elasti c Map Reduce (EMR) для выполнения действия Map Reduce с вашей пользовательской обработкой и источником, сохраненным в S3 или вытащил из любого другого источника.

Вы должны управлять инфраструктурой, это не управляемая служба

В качестве альтернативы, вы можете использовать AWS Склеивать задания ETL, чтобы выполнить то же самое с помощью Spark. Это управляемый ETL-сервис, который предлагает вам предварительно сгенерированный шаблон свечи.

Чтобы выбрать между Glue и EMR, узнайте больше о Spark и Map Reduce и решите сами.

Надеюсь, это поможет !!

...