Добавление нескольких hive.metastore.uris в SparkSession - PullRequest
0 голосов
/ 02 мая 2019

Я создаю сеанс спарка с минимальной конфигурацией ниже:

hive.metastore.uris: 'thrift://auto-hadoop-service-1.com:9083'

Как я вижу, имя свойства имеет uris, что, как я полагаю, может занять несколько единиц.Так, что если соединение на 1-м URI не удается, используется 2-й URI.

Ниже приведен мой код на Python:

from pyspark.sql import SparkSession

def get_spark_session():
    app_name = "Testing"
    hive_uri = 'thrift://auto-hadoop-service-1.com:9083'
    return SparkSession.builder.appName(app_name).config('hive.metastore.uris', hive_uri).enableHiveSupport().getOrCreate()

Я пытаюсь добиться того, чтобы моя hive_uri переменная превратилась в список вроде:

hive_uris = ['thrift://auto-hadoop-service-1.com:9083', 'thrift://auto-hadoop-service-2.com:9083']

and then I could use this list as my `hive.metastore.uris`.

Как можноя достигну этого?

...