Динамический доступ к конфигурациям Hive из контекста spark на spark 2.3

Question

Я использую spark 2.3 (с включенной поддержкой Hive), и я хочу получить доступ и установить во время выполнения значения некоторых конфигураций улья, например "hive.exec.max.dynamic.partitions".

Если я пытаюсь получить их от spark.conf объект, я не могу найти их, даже если они установлены, так как мой код не работает позже, жалуясь на максимальное количество динамических разделов, равное 2000 (по умолчанию я нахожу в настройках куста моего кластера)

Есть ли способ получить доступ к конфигам кустов во время выполнения?

Answer 1

Кажется, что проблема, о которой вы говорите, имеет решение ниже.

Невозможно увеличить динамические разделы улья в искре с помощью spark-sql