Драйвер Spark как REST API

Question

Можно ли получить один искровый драйвер, который действует как Rest API? Используя этот Rest API (1 драйвер), я могу запускать несколько исполнителей на лету (в реальном времени). Я имею в виду, что когда когда-либо приходит новый запрос на Spark Driver (RestAPI), ему нужно запускать новых исполнителей, а не другой новый драйвер.

Пример сценария:

Assume you have a model with 3 steps
1) Read from one set of tables and applies join and many transformations.
2) Read from second set of tables and applies join and many transformations.
3) Finally compare above dataframes and update back some records. 

Here we have 3 input values to the model.
Likewise we have 1000 combinations of input values for the model  to run.

Answer 1

Offcourse, вы можете использовать драйвер как rest api.

Когда вы получите запрос, просто подготовьте свой RDD / DF, затем выполните действие, и оно будет работать.

Вы можете сделайте это в драйвере (что означает, что SparkContext всегда активен и требует ресурсов), или вы можете обернуть его с помощью REST Api, который отправляет задания в ваш кластер по запросу (а затем для каждого задания будет создан новый SparkContext).