SparkSubmit может работать локально?

Question

когда я запускаю приведенный ниже код с помощью следующей команды

spark-submit prepiadstream_sample.py --master local [3] --name prepiadstream_sample --num-executors 5 --executor-memory 5g--driver-memory 5g

Я обнаружил, что распечатанная в коде конфигурация возвращает режим развертывания в качестве клиента, хотя я запускаю его локально в Spark submit, не следует использовать конфигурацию в командной строке

пряжа spark.master

клиент spark.submit.deployMode

import os
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
import time
from pyspark.sql import Row


print("Creating Spark Session")

spark = SparkSession.builder\
    .getOrCreate()

<b> print(spark.sparkContext.getConf()) </b>

Answer 1

Проблема в порядке аргументов. Чтобы мое приложение считывало мои аргументы, я должен передать все аргументы конфигурации spark перед именем приложения , в противном случае приложение будет использовать конфигурацию по умолчанию spark. Команду необходимо отправить следующим образом:

spark-submit  --master local[3] --name applicationstream_sample \
--num-executors 5 --executor-memory 5g \
--driver-memory 5g applicationstream_sample.py

Мы можем найти способы правильного написания команды, выполнив следующую команду: Отправка искры Документация и уведомление, где они устанавливают имя приложения в своем commanfd * 1010. *