Получить список всех доступных классов в JVM в PySpark

Question

Я использую PySpark и добавил пару банок к $SPARK_HOME/jars, но получаю ошибку py4j.protocol.Py4JError: ClassName does not exist in the JVM.

Можно ли перечислить все классы в jvm (sc._jvm)?

Answer 1

Вы уже устранили проблему путем понижения версии PySpark, я просто публикую этот ответ для контекста и будущей справки.

С текущей версией PySpark 2.4.0 не существует одновременных стабильных спарк-релизов.использование разных версий spark вызывает проблемы совместимости.

Я советую сначала проверить версию PySpark и убедиться, что она соответствует версии spark.

Также следует добавить системную переменную среды PYTHONPATH со значением * 1007.*

spark / python / lib содержит информацию о версии py4j, которую вы можете редактировать в части версии переменной выше