Apache Spark с Java: запуск нескольких запросов приложений одновременно

Question

Мы использовали spark с java и создали Java REST api для вызова нашего spark кода. После вызова REST url мой java метод создаст SparkSession и Context для продолжения вычислений. Это работает нормально для одного запроса, но для нескольких запросов одновременно мы получаем проблемы, связанные с SparkContexts: несколько SparkContexts в одном драйвере JVM

Также пробовал использовать: conf.set ("spark.driver.allowMultipleContexts", "true");

Пожалуйста, предложите, как управлять контекстом Spark для одновременных запросов искры. Или какие-то другие способы справиться с этой ситуацией?

Answer 1

Доступны несколько параметров с открытым исходным кодом.
1. Spark jobserver - Предоставляет интерфейс RESTful для отправки запросов в тот же контекст искры.
2. Zeppelin , Livy - Интерфейс ноутбука для отправки запроса Spark.
Они также предоставляют конечные точки REST для отправки Spark.