Получите доступ к клею AWS от местной Spark - PullRequest
0 голосов
/ 15 сентября 2018

Есть ли какой-нибудь способ выполнить локальный мастер-запрос Spark SQL для AWS Glue?

Запустить этот код на моем локальном ПК:

SparkSession.builder()
    .master("local")
    .enableHiveSupport()
    .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")
    .getOrCreate()
    .sql("show databases"); // this query isn't running against AWS Glue
...