AWS: автоматизация запросов в красном смещении - PullRequest
Новая
       37

AWS: автоматизация запросов в красном смещении

0 голосов
/ 13 сентября 2018

Я хочу автоматизировать запрос вставки красного смещения, который будет выполняться каждый день.

На самом деле мы используем среду Aws. Мне сказали, что использование лямбда-это не правильный подход. Какой лучший процесс ETL для автоматизации запроса в Redshift.

Ответы [ 3 ]

0 голосов
/ 13 сентября 2018

Один вариант:

  • Используйте События Amazon CloudWatch в расписании для запуска функции AWS Lambda
  • Функция Lambda запускает экземпляр EC2 со сценарием пользовательских данных. Настройте Поведение при выключении как Terminate.
  • Экземпляр EC2 выполняет сценарий пользовательских данных
  • Когда скрипт завершен, он должен вызвать sudo shutdown now -h to shutdown и завершить instance

Экземпляр EC2 будет оплачиваться только в секунду .

0 голосов
/ 05 апреля 2019

Вы можете использовать boto3 и psycopg2 для запуска запросов, создав скрипт на python и назначив его в cron для ежедневного выполнения.

Вы также можете попытаться преобразовать свои запросы в задания Spark и запланировать эти задания набегать в AWS Glue ежедневно.Если вам это трудно, вы также можете изучить Spark SQL и попробовать его.Если вы собираетесь использовать Spark SQL, помните об использовании памяти, поскольку Spark SQL довольно интенсивно использует память.

0 голосов
/ 13 сентября 2018

Для автоматизации SQL в Redshift у вас есть 3 варианта (как минимум)

Простой - cron Используйте экземпляр EC2 и настройте на нем задание cron для запуска кода SQL. 

psql -U youruser -p 5439 -h hostname_of_redshift -f your_sql_file

Многофункциональность - Воздушный поток (рекомендуется) Если у вас сложное расписание, то стоит потратить время на изучение и использование Apache Airflow. Это также необходимо для запуска на сервере (ec2), но предлагает множество функций.

https://airflow.apache.org/

AWS без сервера - конвейер данных AWS (НЕ рекомендуется)

https://aws.amazon.com/datapipeline/

Cloudwatch-> Lambda-> EC2 метод, описанный ниже Джоном Ротенштейном Это хороший метод, если вы хотите быть в центре внимания AWS, это будет дешевле, чем выделенный экземпляр EC2.

...