Какой код уже запускается, когда я открываю PySpark в оболочке?

Question

Если я хочу запустить PySpark в Jupyter Notebook, я бы

1) запустил команду "Jupyter Notebook" в моем терминале Linux, чтобы открыть блокнот в моем браузере Google Chrome

2) введите следующий код для инициализации PySpark

from pyspark import SparkContext
sc = SparkContext("local", "First App")

3) выполните sc.stop() для выхода из Spark Context

Однако, если я запускаю PySpark в моем терминале, мне просто нужно запустить командуpyspark, и я могу пропустить шаг № 2 выше.

Мои вопросы:

A) Почему шаг № 2 не требуется при запуске PySpark в моем терминале Linux?

B) Какой другой код уже запущен или инициализирован, если язапустить PySpark в моем терминале Linux?

Answer 1

По умолчанию в оболочке PySpark SparkContext доступен как «sc», поэтому нет необходимости создавать SparkContext снова. SparkSession также доступен в качестве спарк-версии, если ваша версия спарк 2.0 или выше.