Понимание версии Spark

Question

Когда я даю pyspark в оболочке, он отображает версию свечи как version 1.6.0 в консоли.

Но когда я даю spark2-submit --version, он говорит version 2.2.0.cloudera2.

Я хочупонять разницу между ними и какова реальная версия, на которой работает pyspark?Всякий раз, когда запускается скрипт py, я использую spark2-submit script.py.

Answer 1

Когда я даю pyspark2, это показывает версию 2.2.0.Это соответствует spark2-submit --version.

Answer 2

Перед запуском pyspark попробуйте установить переменную среды версии spark. Попробуйте выполнить эту команду ниже на своем терминале:

SPARK_MAJOR_VERSION = 2 pyspark