Каков наилучший способ активировать последовательно 2 или более конвейера данных в AWS?

Question

У меня есть два разных конвейера (A и B).Когда A завершится, я хотел бы немедленно запустить второй (B).

Пока что для этого я добавил ShellCommandActivity с помощью следующей команды:

aws datapipeline activate-pipeline --pipeline-id <my pipeline id>

Есть ли другие лучшие способы сделать это?

Answer 1

Вы можете использовать комбинацию файлов индикаторов (файлов нулевого байта) и Lambda, чтобы свободно соединить два конвейера данных.Необходимо внести следующие изменения -

Конвейер данных - с помощью команды оболочки коснитесь файла нулевого байта в качестве последнего шага в конвейере данных в любом из указанных путей s3

СоздатьЛямбда-функция для отслеживания файла индикатора и активации Data Pipeline2

Примечание. Это может быть не очень полезно, если вы смотрите на простой сценарий простого выполнения двух конвейеров данных последовательно.Тем не менее, это полезно, когда вы хотите создать сложную зависимость между конвейерами, а именно.у вас есть набор промежуточных заданий (каждое соответствует одному конвейеру), и вы хотите запускать задания витрины данных или задания производных таблиц после завершения всех промежуточных заданий.