Я хочу использовать пользовательский сценарий, похожий на spark-submit (но с другим именем), для отправки задания Spark с использованием " SparkLauncher "
Проблема в том, что по умолчанию createBuilder()
метод жестко кодирует имя скрипта в SparkLauncher.class
.
Есть ли способ заставить API использовать мой собственный скрипт, скажем custom-spark-submit
?
private ProcessBuilder createBuilder() {
List<String> cmd = new ArrayList();
String script = CommandBuilderUtils.isWindows() ? "spark-submit.cmd" : "spark-submit";