Несоответствие между версией Python в Spark worker и Spark driver

Question

Исключение: Python в рабочей версии отличается от версии 2.7, чем в драйвере 3.5, PySpark не может работать с другими второстепенными версиями. Проверьте, правильно ли установлены переменные окружения PYSPARK_PYTHON и PYSPARK_DRIVER_PYTHON.

Как мне изменить версию Python на моем рабочем месте? (Я использую Spark в автономном режиме)

Answer 1

Установите правильную версию Python (Python3) на рабочем узле, а на рабочем добавьте python3 в путь, а затем установите переменную среды PYSPARK_PYTHON как «python3», теперь проверьте, работает ли pyspark на python2 или 3, запустив «pyspark» на терминале. , Это откроет оболочку Python. Обратите внимание на версию Python в верхней части оболочки Python.