Как установить batchSize в -1, используя SparkConfig и построитель сеансов? Мой код python выглядит следующим образом:
config_list = [...]
conf = pyspark.SparkConf().setAll(config_list)
spark = SparkSession.builder.master('yarn').config(conf=conf).appName('myapp').getOrCreate()
Итак, как вы можете видеть, я не создаю контекст искры явно. Как я могу тем не менее установить batchSize -1 в этой ситуации. Размер пакета используется затем для сериализатора по умолчанию для перетасовки данных между рабочими и узлом драйвера.