конфиг "spark.sql.broadcastTimeout" не работает - PullRequest
0 голосов
/ 16 июня 2019

Я хочу присоединиться к 2 df от pyspark, и там довольно много столбцов.Всякий раз, когда я пытаюсь выполнить объединение, появляется ошибка, как показано ниже:

Py4JJavaError: An error occurred while calling o1768.collectToPython.
: org.apache.spark.SparkException: Exception thrown in awaitResult: 
(ommit)

, и я пытаюсь использовать spark.sql.broadcastTimeout, но это не сработает:

spark = SparkSession\
.builder\
.master('local')\
.config("spark.sql.broadcastTimeout", "36000")
.getOrCreate()

Не могли бы вы дать мнесовет?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...