Я пытаюсь использовать широковещательное соединение, но в Spark 2.3 появляется ошибка ниже.Тем не менее, тот же код работает в Spark 2.2.
. После проверки размера фреймов данных он составляет всего 50 МБ, и я также установил порог в 200 МБ.Как я уже упоминал выше, тот же код отлично работает в Spark 2.2
Error: "Cannot broadcast the table that is larger than 8GB".
Однако отключение трансляции работает нормально.
'spark.sql.autoBroadcastJoinThreshold': '-1'
Не могли бы вы помочь здесь?