Вытащить данные на ежедневной основе

Question

У меня есть данные в моем кластере красных смещений. Каков наилучший способ ежедневно извлекать данные из красного смещения и создавать новую таблицу YY на основе красного смещения из нескольких запросов sql.

Как у нас естьтаблица XX в красном смещении, и я хочу создать таблицу в красном смещении от вытягивания 10 верхних строк таблицы XX

Создать таблицу YY в качестве Выбрать верхнюю 10 * из XX

Answer 1

Используя AWS-Glue, вы можете запланировать работу, а затем написать код сценариев для выполнения определенных задач.AWS-glue код может быть запущен для следующих 3 типов событий, в вашем случае, я думаю, # 1 применим.

1. Триггер, основанный на расписании cron.
2. Aтриггер, основанный на событиях;например, успешное завершение другого задания может запустить задание AWS Glue.
3. Триггер, запускающий задание по требованию.

В моем случае, на мой взгляд, это должно быть более применимо.

Я надеюсь, что это даст вам несколько указателей.