Как мне написать запрос из Spark в Redshift?

Question

Я подключился через SSH к конечной точке Dev в Glue. Работает Spark 2.4.1.

Я хочу выполнить простой запрос select * from pg_namespace;

Также после этого необходимо переместить данные из S3 в Redshift с помощью команды COPY.

Как записать это в консоли Spark?

Спасибо.

Answer 1

Вы можете использовать aws cli и psql с вашего ssh-терминала.

Для проверки psql https://docs.aws.amazon.com/redshift/latest/mgmt/connecting-from-psql.html

Тогда вы можете запустить с него команду select и copy.

Но я не буду рекомендовать, поскольку AWS Glue - это серверный сервис, поэтому ваш кластер будет отличаться каждый раз.

Answer 2

Не уверен, что вы можете использовать команду COPY напрямую, и я не пробовал.

Для перемещения данных из S3 в Redshift вы можете использовать AWS Glue API. Пожалуйста, проверьте здесь образцы кодов от AWS ? Я думаю, что за кулисами AWS Glue использует команды COPY / UNLOAD для перемещения данных между S3 и REDSHIFT.