Ошибка с pyspark в локальной системе, когда я выполняю pytest в VS Code из Git Bash

Question

У меня локальная ошибка pyspark, когда я выполняю pytest в VS Code из Git Bash.

Если я выполняю pytest из gitbash консоли:

Я пытаюсь отладить свой код, когда создаю искровой фрейм данных в Visual code, покажите мне:

Java процесс шлюза завершен перед отправкой номера порта

Я настроил всю среду переменных в моем P C:

Я видел это ошибка может быть моя переменная Java настроена не очень хорошо, но я проверил, что это правильно.

Answer 1

Это похоже на несоответствие версий. Поскольку '_PYSPARK_DRIVER_CALLBACK_HOST' был удален во время версии 0.10.7 ( здесь ) до 2.3 и вернулся с версии 2.3.1. Итак, вы должны проверить свою версию Spark, так как SPARK_HOME указывает на правильный (как минимум 2.3.1).

из здесь

Answer 2

Я решил это, когда поместил в файл .bash_profile следующую строку:

export path_ java (в моем p c)

Таким образом, когда я выполняю pytest в консоли bash Я без проблем прохожу тестирование

Хотя из VS Code я не прохожу тест с отладчиком, я могу продолжить с моей python библиотекой

Answer 3

Но если я запускаю jupyter notebook из git bash, pyspark действительно работает, с этим кодом

введите описание изображения здесь