Как отправить работу pyspark с помощью spark submit?

Question

Я использую версию Spark 2.4.3. Достаточно ли этой команды для отправки задания?

spark-submit fas.py /home/karthi/accm.txt

где отправить эту команду?

Answer 1

Да, если вы хотите отправить задание Spark с модулем Python, вам нужно запустить spark-submit module.py.

Spark - это распределенная среда, поэтому при отправке задания это означает, что вы «отправить» работу в кластере. Но вы также можете легко запустить его на своем компьютере с помощью той же команды (автономный режим).

Примеры можно найти в официальной документации Spark: https://spark.apache.org/docs/2.4.3/submitting-applications.html

ПРИМЕЧАНИЕ : Для запуска spark-submit у вас есть два варианта:

Go в / path / to / spark / bin и запустить spark-submit /path/to/module.py

Или добавьте следующее в .bashr c и используйте run-submit в любом месте

export SPARK_HOME=/usr/local/spark 
export PATH=$PATH:$SPARK_HOME/bin