Невозможно зарегистрироваться на внешнем сервере shuffle. Не удалось подключиться к автономному кластеру Spark

Question

Я следовал настройке распределения Dynami c конфигурации , однако, получая следующую ошибку при запуске исполнителей.

ОШИБКА TaskSchedulerImpl: Потерянный исполнитель 0 на 192.168.0.167: Невозможно создать исполнителя из-за Невозможно зарегистрироваться на внешнем сервере перемешивания из-за: Не удалось подключиться к /192.168.0.167 : 7337 20/03/25 13:49:01 WARN TransportChannelHandler: Исключение в соединении из /192.168.0.167:55155 java .io.IOException: Сброс соединения по одноранговому узлу в sun.nio.ch.FileDispatcherImpl.read0 (собственный метод ) в sun.nio.ch.SocketDispatcher.read (SocketDispatcher. java: 39) в sun.nio.ch.IOUtil.readIntoNativeBuffer (IOUtil. java: 223) в sun.nio.ch.IOUtil.read ( IOUtil. java: 192) в sun.nio.ch.SocketChannelImpl.read (SocketChannelImpl. java: 380)

Конфигурация My Spark на автономном кластере (локальном компьютере):

spark = SparkSession \
    .builder \
    .appName("DynanicAlloc")\
    .config("spark.master","spark://localhost:7077")\
    .config("spark.ui.port", 8050)\
    .config("spark.driver.maxResultSize", 0)\
    .config('spark.rpc.message.maxSize','1024')\
    .config("spark.dynamicAllocation.enabled", True)\
    .config("spark.shuffle.service.enabled", True)\
    .config("spark.dynamicAllocation.initialExecutors", "1")\
    .config("spark.dynamicAllocation.executorIdleTimeout", "120s")\
    .config("spark.dynamicAllocation.schedulerBacklogTimeout", "1s")\
    .config("spark.executor.cores", "1")\
    .config("spark.executor.memory", "512m")\
    .config("spark.rdd.compress", "true")\
    .config('spark.scheduler.mode','FAIR')\
    .config("spark.sql.execution.arrow.enabled", "true")\
    .getOrCreate()