Когда я запускаю интерактивную оболочку программы pyspark, которая может извлечь файл конфигурации (config.ini) из сценария pyspark,
Но когда я пытаюсь запустить тот же сценарий, используя команду Spark submit с мастер-пряжей, а режим развертывания кластера - кластер, он выдает ошибку, поскольку файл конфигурации не существует, я проверил журнал пряжи и могу увидеть то же самое, ниже приведена команда для запуска pyspark. работа.
spark2-submit --master yarn --deploy-mode cluster test.py /home/sys_user/ask/conf/config.ini