Я внедряю разные решения Apache Spark, используя IntelliJ IDEA, Scala и SBT, однако каждый раз, когда я хочу запустить свою реализацию, мне нужно делать следующие шаги после создания jar:
- Amazon: чтобы отправить .jar на главный узел с помощью SSH, а затем запустить командную строку spark-shell.
- Azure: я использую CLI Databricks, поэтому каждый раз, когда я хочу загрузить jar, Я удаляю старую библиотеку, удаляю jar-файл, хранящийся в кластере, и, наконец, загружаю и устанавливаю новый .jar.
Так что мне было интересно, можно ли выполнить все эти процессы простоодним щелчком мыши, например, с помощью кнопки запуска IntelliJ IDEA, или с помощью другого метода, упрощающего все это.Кроме того, я думал о Jenkins как об альтернативе.
По сути, я ищу более простые варианты развертывания.