Использование искрового красного смещения на EC2 / EMR в другом регионе, чем кластер красного смещения и S3 - PullRequest
Новая
       10

Использование искрового красного смещения на EC2 / EMR в другом регионе, чем кластер красного смещения и S3

0 голосов
/ 01 ноября 2018

Мы используем библиотеку spark-redshift для выгрузки из нашего кластера RS.

Ковш S3 и кластер работают в регионе us-west-2. Тем не менее, наша EMR управляет регионом США-Восток-1.

Мы продолжаем получать сообщение об ошибке, что мы должны использовать правильную конечную точку.

Invalid operation: S3ServiceException:The bucket you are attempting to access must be addressed using the specified endpoint.

Есть ли способ выгрузки с RS из другого региона, если S3 находится в том же регионе, что и кластер? Я не знаю каких-либо жестких ограничений в этом сценарии. Вот наша команда выгрузки: 

var df = spark.read.format("com.databricks.spark.redshift")
  .option("url", "jdbc:redshift://URL")
  .option("query", "(SELECT count(*) from TABLE)")
  .option("tempdir","s3a://WESTBUCKET/PATH")
  .option("region","us-west-2").load

1 Ответ

0 голосов
/ 02 ноября 2018

Выпуск 4789 Redshift добавит параметр REGION в оператор UNLOAD, чтобы вы могли указать область сегмента.

Amazon Redshift: добавлена ​​поддержка разгрузки по регионам с помощью REGION параметр.

https://docs.aws.amazon.com/redshift/latest/mgmt/rs-mgmt-cluster-version-notes.html#rs-mgmt-cluster-version-notes-104515

Ваш кластер, скорее всего, будет обновлен до этого выпуска во время одного из окон обслуживания в период времени, указанный для этого выпуска.

...