pySpark: ConnectionResetError: [WinError 10054] Существующее соединение было принудительно закрыто удаленным узлом

Question

Я совсем новичок в pyspark. Выполняя приведенный ниже фрагмент кода в pycharm, я получаю желаемый результат. Но я получаю ошибку ниже

Traceback (most recent call last):
  File "C:\Study\Spark\spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1067, in start
ConnectionRefusedError: [WinError 10061] No connection could be made because the target machine actively refused it
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:49748)
Traceback (most recent call last):
  File "C:\Study\Spark\spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 929, in _get_connection
IndexError: pop from an empty deque

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Study\Spark\spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1067, in start
ConnectionRefusedError: [WinError 10061] No connection could be made because the target machine actively refused it

**Process finished with exit code 0**

Как вы можете видеть в последней строке Процесс завершен с кодом выхода 0, и я также получаю ожидаемый результат

Вот мой пример кода

Python -3.7

Spark-2.4.5

def func(row):
    temp=row.asDict()
    temp["concat_val"]="|".join([str(x) for x in row])
    put=Row(**temp)
    return put


if __name__ == "__main__":
     spark = SparkSession\
        .builder.\
        master("local[*]")\
        .appName("PythonWordCount")\
        .getOrCreate()

    data1=spark.createDataFrame(
        [
            ("1", 'foo'),  
            ("2", 'bar'),
        ],
        ['id', 'txt'] 
    row_rdd = data1.rdd.map(func)
    print(row_rdd.collect())
    concat_df = row_rdd.toDF()
    hash_df = concat_df.withColumn("hash_id", md5(F.col("concat_val")))
    hash_df.show()