Я много искал, но не смог найти ссылку на задание Spark, настроенное на Java, которое может принимать входные данные в виде файлов (java jar и другие файлы конфигурации) из HDFS и вызывать метод java внутри функции java.