Я пытаюсь преобразовать небольшой массив данных Spark (myDF1
) в Pandas, используя .toPandas()
, и получаю Exception: could not open socket
- похоже, это из-за https://github.com/databricks/spark-sklearn/issues/49, но я не могу его получитьработать с помощью функции повтора.
Вот что я попробовал:
count = 1
while count <= 3: # try 3 times
try:
myDF1.toPandas()
break
except Exception as e:
if count == 3:
raise
count += 1
Кажется, тоже не работает - я что-то упускаю, кроме попытки сохранить фрейм данных искры как таковой?