В кластере HDP 2.4 Hadoop с YARN мне интересно, возможно ли запустить программу Java Apache Spark без использования программы spark-submit --master=yarn, но непосредственно на Java?(или если это действительно плохая практика).
Мой вариант использования - иметь демон Java, который предоставляет HTTP API для выполнения задания Spark на разных кластерах HDP.