Не удается подключиться к локальному сеансу искры

Question

Spark новичок здесь.В соответствии с инструкциями, которые я нашел в Интернете, я установил spark на свой локальный компьютер для разработки Windows.Свойства Spark из WebUI:

spark.app.name  Spark shell
spark.driver.host   192.168.2.131
spark.driver.port   53796
spark.executor.id   driver
spark.home  C:\BigData\spark
spark.master    local[*]

Теперь в моем веб-приложении java на моей локальной машине, когда я пытаюсь создать соединение с сеансом spark, используя код, создается новый локальный сеанс spark, который указываетк другому хосту и порту, даже находясь на той же машине.

    SparkConf conf = new SparkConf()
                        .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    Globals.spark = SparkSession.builder()
                            .master("local[2]")
                            .appName("test")
                            .config(conf)
                            .getOrCreate();     

Свойства нового созданного сеанса spark

spark.app.name  test
spark.driver.host   192.168.2.198
spark.driver.port   57755
spark.executor.id   driver
spark.master    local[2]

Как подключиться к сеансу spark, уже запущенному в моем локальноммашина?Я хочу сделать это, потому что я хочу иметь возможность добавлять исполнителей и изменять свойства на моем локальном компьютере, чтобы отлаживать приложение перед его отправкой в ​​рабочий кластер.

Answer 1

Это не так, как работает Spark: после запуска вы не можете подключиться к сеансу Spark извне. Если вы хотите настроить его, измените некоторые параметры, вы должны сделать это раньше.

Посмотрите на https://developer.ibm.com/code/open/projects/spark-bench/. Spark Bench позволит вам сделать это автоматически. Я надеюсь, что это поможет вам решить ваш вариант использования.