Я хочу присоединиться к 2 df от pyspark, и там довольно много столбцов.Всякий раз, когда я пытаюсь выполнить объединение, появляется ошибка, как показано ниже:
Py4JJavaError: An error occurred while calling o1768.collectToPython.
: org.apache.spark.SparkException: Exception thrown in awaitResult:
(ommit)
, и я пытаюсь использовать spark.sql.broadcastTimeout, но это не сработает:
spark = SparkSession\
.builder\
.master('local')\
.config("spark.sql.broadcastTimeout", "36000")
.getOrCreate()
Не могли бы вы дать мнесовет?