Это может быть наивным вопросом.
Когда я создаю контекст spark, используя код pyspark из нижеприведенного кода, после запуска состояние приложения начинает появляться на панели мониторинга spark в разделе «Запуск приложения»
conf = pyspark.SparkConf().setAppName('blah').setMaster('spark://<some-ip>:8000')
sc = pyspark.SparkContext(conf=conf)
Но когда я создаю сеанс spark из фрагмента кода ниже, на панели инструментов spark не отображается состояние приложения.
spark = SparkSession.builder
.appName('blah blah')
.master('spark://<some -ip>:8000')
.getOrCreate()
Я не уверен, почему это работает так, как я Я совершенно новичок в Spark, поэтому, пожалуйста, помогите.