Я создаю сеанс спарка с минимальной конфигурацией ниже:
hive.metastore.uris: 'thrift://auto-hadoop-service-1.com:9083'
Как я вижу, имя свойства имеет uris
, что, как я полагаю, может занять несколько единиц.Так, что если соединение на 1-м URI не удается, используется 2-й URI.
Ниже приведен мой код на Python:
from pyspark.sql import SparkSession
def get_spark_session():
app_name = "Testing"
hive_uri = 'thrift://auto-hadoop-service-1.com:9083'
return SparkSession.builder.appName(app_name).config('hive.metastore.uris', hive_uri).enableHiveSupport().getOrCreate()
Я пытаюсь добиться того, чтобы моя hive_uri
переменная превратилась в список вроде:
hive_uris = ['thrift://auto-hadoop-service-1.com:9083', 'thrift://auto-hadoop-service-2.com:9083']
and then I could use this list as my `hive.metastore.uris`.
Как можноя достигну этого?