При отправке искрового задания с использованием livy batches API файлы, переданные через параметр files, переименовываются и не могут быть упомянуты в программе. Также псевдоним не работает.
"files": ["/tmp/code/applicationconfig.properties" ], "jars":
Журнал показывает, что он переименован в случайное имя:
20/05/27 22:25:34 INFO Utils: Fetching hdfs:///tmp/code/applicationconfig.properties to /mnt/tmp/spark-d25e3d10-5843-461d-9254-31e7a0f00be7/userFiles-e40caf70-d620-4de3-871a-76e7bb0159cd/fetchFileTemp5945997728485368947.tmp
Может ли кто-нибудь сообщить мне, как распространять файлы на каждый узел-исполнитель и ссылаться это в искровом коде исполнителя