Что не так с функцией appName?

Question

Когда я запускаю основную функцию искры в jupyter python Я получаю ошибку при .appName function

spark=ps.sql.SparkSession.builder\
    .master('local[4]')\
     .appName('spark-lecture')\
    .getOrCreate()
sc= spark.sparkContext

Py4JError: org. apache .spark.api. python .PythonUtils.getEncryptionEnabled не существует в JVM

Answer 1

Я думаю, вы не импортировали правильные вещи. Вы пробовали следующее (взято из документации):

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .master('local[4]') \
    .appName("Python Spark SQL basic example") \
    .getOrCreate()