Пожалуйста, обратитесь к коду ниже.
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAll([('spark.executor.memory', '8g'),
('spark.executor.cores', '3'),('spark.master','local[9]'),
('spark.memory.fraction','.6'),('spark.test','0'),('a','b')])
spark=SparkSession.builder.config(conf=conf).appName("Test3").getOrCreate()
spark.sparkContext.getConf().getAll()
Возвращает все параметры, которые установлены следующим образом
[('a', 'b'),
('spark.executor.id', 'driver'),
('spark.app.id', 'local-***'),
('spark.driver.port', '58096'),
('spark.test', '0'),
('spark.rdd.compress', 'True'),
('spark.serializer.objectStreamReset', '100'),
('spark.executor.memory', '8g'),
('spark.executor.cores', '3'),
('spark.submit.deployMode', 'client'),
('spark.driver.host', '<host-value>'),
('spark.memory.fraction', '.6'),
('spark.app.name', 'Test3'),
('spark.ui.showConsoleProgress', 'true'),
('spark.master', 'local[9]')]
Заметил, что он включает все пары ключ / значение, которые включены в состав setAll, включая случайныезначения, такие как «a», «b» и «spark.test», «0».Эти значения также отображаются в интерфейсе Spark.
Хотел проверить, является ли
- Это ожидаемое поведение?
- Если это ожидаемое поведение, то какова идея, позволяющая пользователям устанавливать случайный ключ, пары значений какпараметры?Думаю, это приведет к еще большему замешательству.
Как всегда, любое направление будет великолепным!