Как использовать GlueMetaStore с spark.sql в JupyterHub - PullRequest
Новая
       32

Как использовать GlueMetaStore с spark.sql в JupyterHub

0 голосов
/ 11 сентября 2018

Я хочу использовать GlueMetaStore с spark.sql.

Для этого я настроил кластер EMR (5.16) и установил следующие конфигурации: 

{
    "Classification":"hive-site",
    "ConfigurationProperties":
    {
        "hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
    },
    "Configurations":[]
},
{
    "Classification":"spark-hive-site",
    "ConfigurationProperties":
    {
            "hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
    },
    "Configurations":[]
}

Я использовал spark-core для запросов к базам данных в JupyterHub, но я просто получаю базу данных по умолчанию, которая пуста. Там должно быть много больше базы данных, когда она работает.

Нужно ли использовать enbaleHiveSupport или что-то симулирующее, чтобы соединение работало, если да, как я могу установить его в JupterHub, потому что контекст уже загружен?

1 Ответ

0 голосов
/ 12 сентября 2018

Я нашел решение

Мне нужно отредактировать " / etc / livy / conf.dist / livy.conf " на мастерноде и добавить 

livy.repl.enableHiveContext = true

к нему.

перезапустите livy-сервер с помощью: 

sudo stop livy-server
sudo startlivy-server

перезапустите ядро ​​и все заработает!

...