Мне нужно знать, как можно передать параметры в файл jar из программы pyspark. Я знаю, что мы можем установить контекст spark и добавить файлы jar в контекст, но есть ли способ передать параметры, которые эти файлы jar будут принимать в качестве входных данных.
Например: скажем, яу меня есть файл jar, который включает в себя класс, принимающий некоторые входные параметры.
Я могу установить контекст зажигания, используя ниже
from pyspark import SparkConf, SparkContext
conf = SparkConf().set("spark.jar", "/path/to.jar")
sc = SparkContext( conf=conf)
, но если я хочу передать параметр в этот jarфайл с помощью этого скрипта pyspark, есть ли способ сделать это.
, пожалуйста, помогите