Метод получения __getstate __ ([]) не существует при передаче фрейма данных pyspark в качестве аргумента в apply_asyn c ()

Question

У меня есть фрейм данных pyspark только с одним столбцом _c0. Ниже мой код:

for name in mylist:
    namedf= fulldf.where(col('_c0').like('%'+name+'%'))
    dflist.append(namedf)

result_objects = [pool.apply_async(myfunc, args=(df)) for df in dflist]

results = [r.get() for r in result_objects] ## giving error at this line

pool.close()
pool.join()

print(results)

Я получаю сообщение об ошибке ниже

Method __getstate__([]) does not exist