AttributeError: у объекта 'NoneType' нет атрибута pyspark 'setCallSite' после indexedRowMatrix columnSimilities ()

Question

Я работаю над кодом, который был правильно выполнен с кадром данных раньше, но в этот раз, когда я его выполняю, я получаю сообщение об ошибке.(Единственное отличие состоит в том, что на этот раз я использовал persist() на фрейме данных.)

simMat = IndexedRMat.columnSimilarities()

выполняется правильно, но затем эта часть:

columns = ['product1', 'product2', 'sim']
vals = simMat.entries.map(lambda e: (e.i, e.j, e.value)).collect()
dfsim = spark.createDataFrame(vals, columns)  

генерирует эту ошибку:

 AttributeErrorTraceback (most recent call last)
    <ipython-input-100-11502084c71b> in <module>()
          1 columns = ['product1', 'product2', 'sim']
    ----> 2 vals = simMat.entries.map(lambda e: (e.i, e.j, e.value)).collect()
          3 dfsim = spark.createDataFrame(vals, columns)

    /opt/spark-2.3.0-SNAPSHOT-bin-spark-master/python/pyspark/rdd.pyc in collect(self)
        806             to be small, as all the data is loaded into the driver's memory.
        807         """
    --> 808         with SCCallSiteSync(self.context) as css:
        809             port = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd())
        810         return list(_load_from_socket(port, self._jrdd_deserializer))

    /opt/spark-2.3.0-SNAPSHOT-bin-spark-master/python/pyspark/traceback_utils.pyc in __enter__(self)
         70     def __enter__(self):
         71         if SCCallSiteSync._spark_stack_depth == 0:
    ---> 72             self._context._jsc.setCallSite(self._call_site)
         73         SCCallSiteSync._spark_stack_depth += 1
         74 

    AttributeError: 'NoneType' object has no attribute 'setCallSite'

Что это значит?Я новичок в спарке и не нашел объяснения этому типу ошибки ..