Проблемы Pyspark с Java Server

Question

Я пытался выполнить несколько строк в pyspark, чтобы создать SMOTE (переоснащение) с фреймом данных, но после этого возникли некоторые проблемы с Java Server.

Этот фрейм данных представляет собой файл CSV с более чем 2 000 000строки, первоначально я загружаю эти данные с паркетом, а затем с рамкой данных в искре (spark.read.load).

from imblearn.over_sampling import SMOTE

feature_cols = ['var011','var075','var065','var020','var0922','var086',
'var111','var090','var125','var083',...]
X = finalData[feature_cols] # Features
y = finalData.VAR_TARGET # Target variable

Сведения об ошибке:

ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:55905)
Traceback (most recent call last):
  File "C:\Users\User\AppData\Roaming\Python\Python37\site-packages\py4j\java_gateway.py", line 929, in _get_connection
    connection = self.deque.pop()
IndexError: pop from an empty deque

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\User\AppData\Roaming\Python\Python37\site-packages\py4j\java_gateway.py", line 1067, in start
    self.socket.connect((self.address, self.port))
ConnectionRefusedError: [WinError 10061] 

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
~\AppData\Roaming\Python\Python37\site-packages\py4j\java_gateway.py in _get_connection(self)
    928         try:
--> 929             connection = self.deque.pop()
    930         except IndexError:

IndexError: pop from an empty deque
.
.
.
~\AppData\Roaming\Python\Python37\site-packages\py4j\java_gateway.py in start(self)
   1077                 "server ({0}:{1})".format(self.address, self.port)
   1078             logger.exception(msg)
-> 1079             raise Py4JNetworkError(msg, e)
   1080 
   1081     def _authenticate_connection(self):

Py4JNetworkError: An error occurred while trying to connect to the Java server (127.0.0.1:55905)

Спасибоза вашу помощь.