Сбой создания SparkSession с ошибкой - AttributeError: у объекта 'function' нет атрибута '_get_object_id'

Question

Я использую spark версии 2.4 и пытаюсь создать sparkSession в python, но получаю эту ошибку -

AttributeError                            Traceback (most recent call last)
<ipython-input-7-135b7fcb7c33> in <module>()
----> 1 spark = SparkSession     .builder     .getOrCreate()

C:\opt\spark\spark-2.4.0-bin-hadoop2.7\python\pyspark\sql\session.py in getOrCreate(self)
    181                     session = SparkSession(sc)
    182                 for key, value in self._options.items():
--> 183                     session._jsparkSession.sessionState().conf().setConfString(key, value)
    184                 for key, value in self._options.items():
    185                     session.sparkContext._conf.set(key, value)

C:\opt\spark\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py in __call__(self, *args)
   1246 
   1247     def __call__(self, *args):
-> 1248         args_command, temp_args = self._build_args(*args)
   1249 
   1250         command = proto.CALL_COMMAND_NAME +\

C:\opt\spark\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py in _build_args(self, *args)
   1216 
   1217         args_command = "".join(
-> 1218             [get_command_part(arg, self.pool) for arg in new_args])
   1219 
   1220         return args_command, temp_args

C:\opt\spark\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py in <listcomp>(.0)
   1216 
   1217         args_command = "".join(
-> 1218             [get_command_part(arg, self.pool) for arg in new_args])
   1219 
   1220         return args_command, temp_args

C:\opt\spark\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\protocol.py in get_command_part(parameter, python_proxy_pool)
    296             command_part += ";" + interface
    297     else:
--> 298         command_part = REFERENCE_TYPE + parameter._get_object_id()
    299 
    300     command_part += "\n"

AttributeError: 'function' object has no attribute '_get_object_id'

Ниже приведен код python, который я пытаюсь установить на своем ноутбуке Jupyter -

from pyspark.sql import SparkSession
spark = SparkSession \
    .builder \
    .getOrCreate()

Я также пытался -

from pyspark.sql import SparkSession
sparkSess1 = SparkSession \
    .builder \
    .appName("Spark test") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

Из всех примеров, которые я прочитал, создать сеанс зажигания должно быть просто, но по какой-то причине он не работает для меня.