Любой, кто знает, как это отладить:
PicklingError: Could not serialize object: TypeError: Cannot serialize socket object
Я попытался протестировать запись своей базы данных с помощью foreach в pyspark, выполнив простой пример:
dt = sc.parallelize(range(1, 1000))
def writeBatchData(b):
session = driver.session()
session.run('UNWIND {batch} AS row CREATE (n:Node {v: row})', {'batch': b})
session.close()
dt.foreach(writeBatchData)