Триггер конвейера данных Aws - PullRequest
0 голосов
/ 08 октября 2018

У меня есть конвейер данных Aws с EMR Activity, который записывает данные на S3.В конце этого процесса он также записывает некоторые метаданные в определенную папку S3 в этом расположении.

Есть ли способ активировать сканер Aws Glue из определения конвейеров данных, которое сканирует это последнее местоположение S3, так что он создает таблицу Aws Athena?

Я не нашел способа сделать это, просматривая документацию Aws Data Pipelines.

1 Ответ

0 голосов
/ 09 октября 2018

Может быть, вы могли бы использовать ShellCommandActivity и позвонить aws glue start-crawler.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...