Я получил небольшой кластер из 5 компьютеров на базе Hadoop / YARN и Spark сверху.Я хочу выполнить небольшую java-программу в цикле, чтобы продемонстрировать функциональность распределенных вычислений.Моя проблема: каждый раз, когда я запускаю программу с spark-submit (..) --master yarn (..) банки для spark развертываются через HDFS и рабочие инициализируются.Таким образом, цикл всегда нарушается этой инициализацией.Я хотел бы, чтобы они запускались один раз и оставались готовыми к следующему заданию - например, к сервису.
Я видел, что этот режим включается при использовании спарк-оболочки.Но как мне запустить этот режим без какой-либо оболочки Scala / R / Python?
С уважением, Хендрик