Планировщик для Informatica BDM в среде AWS - PullRequest
0 голосов
/ 29 октября 2018

У нас есть требование загрузки корзины Amazon S3 путем извлечения данных из внешней базы данных СУБД с использованием заданий sqoop. Я упомянул, что я создал сценарий оболочки, в котором есть задания sqoop для выполнения этой задачи. После создания объекта в корзине Amazon S3 я хотел бы запустить рабочие процессы Informatica Developer, которые будут выполнять задачу загрузки данных из одной корзины в другую после выполнения бизнес-логики.

Я знаю, мы можем вызывать рабочие процессы Informatica через скрипт оболочки или через собственный планировщик Informatica. Ранее я использовал Autosys, где мы настраивали сценарий оболочки как задание и запускали рабочий процесс Informatica после завершения этого сценария оболочки, сохраняя зависимости.

У меня вопрос: есть ли у нас доступный планировщик с открытым исходным кодом для настройки заданий Informatica BDM в AWS?

Спасибо, Виджей

1 Ответ

0 голосов
/ 31 октября 2018

Ищите воздушный поток apache. Вы можете использовать следующую ссылку, чтобы понять интеграцию. При этом используются возможности Informatica плюс планирование потока воздуха Apache

https://network.informatica.com/community/informatica-network/products/big-data/big-data-management/blog/2018/05/30/integrating-bdm-with-apache-airflow

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...