Я написал код scala для загрузки конфигураций и параметров из файла conf с использованием typesafe.Мой parameters.conf файл выглядит следующим образом:
{
"parameterInputPath": "/home/data/*.parquet"
}
Он упакован с помощью FAT JAR, но я хочу, чтобы этот файл загружался во время выполнения, поэтому я пытаюсь передать --files в моемSpark-представить, но это не работает.Может кто-нибудь, пожалуйста, помогите ??
spark-submit --class spark.application.test my-jar-assembly.jar --properties-file /home/files/myfile.conf --files / home / files / myfile.конф