Как создать кластер EMR AWS Настройки каталога данных клея? - PullRequest
Новая
       66

Как создать кластер EMR AWS Настройки каталога данных клея?

0 голосов
/ 24 января 2020

enter image description here

AWS EMR MetaException, сообщение:

Недостаточные права на формирование озера в global_temp.

Я пытаюсь использовать сеанс искры для запроса данных с использованием метасторога куста. Столы занесены в клей. Я могу читать паркетные файлы s3 напрямую, используя spark.read.parquet. Однако я хотел бы использовать метод spark.sql для запроса каталога из EMR.

Когда я запускаю строку: 

spark.sql("show tables from gluedatabase").show()

Я получаю ошибку, подобную этой: 

'org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Insufficient Lake Formation permission(s) on global_temp (Service: AWSGlue; Status Code: 400; Error Code: AccessDeniedException));'
Traceback (most recent call last):
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", line 767, in sql
    return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
  File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 69, in deco
    raise AnalysisException(s.split(': ', 1)[2], stackTrace)
pyspark.sql.utils.AnalysisException: 'org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Insufficient Lake Formation permission(s) on global_temp (Service: AWSGlue; Status Code: 400; Error Code: AccessDeniedException));'
...