Каталог данных клея AWS, временные таблицы и Apache Spark createOrReplaceTempView - PullRequest
Новая
       94

Каталог данных клея AWS, временные таблицы и Apache Spark createOrReplaceTempView

0 голосов
/ 11 декабря 2018

В соответствии с документацией AWS Glue Data Catalog https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

Временные таблицы не поддерживаются.

Это мне не понятно или под Temporary tables Я могуТакже рассмотрим Temporary views, который можно создать в Apache Spark с помощью метода DataFrame.createOrReplaceTempView?

Итак, другими словами - я не могу использовать метод DataFrame.createOrReplaceTempView с AWS Glue и AWS Glue Data Catalog,Я прав?Я могу работать только с постоянными таблицами / просмотром с помощью AWS Glue и AWS Glue Data Catalog прямо сейчас и должен использовать кластер AWS EMR для полнофункциональной функции Apache spark?

1 Ответ

0 голосов
/ 26 декабря 2018

Вы можете использовать DataFrame.createOrReplaceTempView () в AWS Glue.Вы должны преобразовать динамический кадр в информационный, используя toDF ().

Но эти представления останутся в области действия вашего текущего экземпляра клеевого задания и не будут доступны из других клеевых заданий или других экземпляров того же задания или Афины

...