Spark 2: Использование собственного сценария spark-submit с SparkLauncher - PullRequest
0 голосов
/ 27 ноября 2018

Я хочу использовать пользовательский сценарий, похожий на spark-submit (но с другим именем), для отправки задания Spark с использованием " SparkLauncher "

Проблема в том, что по умолчанию createBuilder() метод жестко кодирует имя скрипта в SparkLauncher.class.

Есть ли способ заставить API использовать мой собственный скрипт, скажем custom-spark-submit?

 private ProcessBuilder createBuilder() {
        List<String> cmd = new ArrayList();
        String script = CommandBuilderUtils.isWindows() ? "spark-submit.cmd" : "spark-submit";
...