У меня искра scala приложение (искра 2.4). Я передаю файл, присутствующий на моем краевом узле , в качестве аргумента моей (основной) программе драйвера, я читаю этот файл, используя scala.io.Source. Теперь, когда я делаю искру-отправку и упоминаю --deploy-mode client, тогда приложение работает нормально и может читать файл. Но когда я использую deploy-mode cluster. приложение не работает, говоря, что файл не найден. Есть ли способ прочитать файл с граничного узла в кластерном режиме.
Спасибо.
Edit ..
Я попытался указать file: // перед путем к файлу, но он тоже не работает ... вот как я даю путь к файлу в качестве аргумента моей основной class.
spark2-submit --jars spark-avro_2.11-2.4.0.jar --master yarn --deploy-mode cluster --driver-memory 4G --executor-memory 4G --executor-cores 4 --num-executors 6 --conf spark.executor.memoryOverhead=4096 --conf spark.driver.memoryOverhead=4096 --conf spark.executor.instances=150 --conf spark.shuffle.service.enabled=true --class com.citi.gct.main.StartGCTEtl global-consumer-etl-0.0.1-SNAPSHOT-jar-with-dependencies.jar file://home/gfrrtnee/aditya/Trigger_1250-ING-WS-ALL-PCL-INGEST-CPB_20200331_ING-GLOBAL-PCL-CPB-04-Apr-19-1.event dev Y
Но я все равно получаю ту же ошибку в кластерном режиме.
20/05/07 06:27:47 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: User class threw exception: java.io.FileNotFoundException: file:/home/gfrrtnee/aditya/Trigger_1250-ING-WS-ALL-PCL-INGEST-CPB_20200331_ING-GLOBAL-PCL-CPB-04-Apr-19-1.event (No such file or directory)