Я попытался импортировать другой файл python в моей текущей программе pyspark, используя Sparkcontext. Это приводило меня к ошибке, так как многократный контекст spark не может работать одновременно. Поэтому я использую сеанс spark для импорта моего файла python.Мой код:
spark = SparkSession.builder.appName('Recommendation_system').getOrCreate()
txt=spark.addFile('engine.py')
dataset_path = os.path.join('Musical_Instruments_5.json')
app = create_app(txt,dataset_path)
Я получаю сообщение об ошибке следующим образом:
AttributeError: 'SparkSession' object has no attribute 'addFile'
Какой будет правильный способ импорта файла Python с использованием сеанса спарк.