ImportError: Нет модуля с именем configparser в Pyspark

Question

При отправке задания на спарк кластер я получаю сообщение об ошибке:

ImportError: No module named configparser

Следует отметить, что при разработке приложения pyspark в моем pycharm я не добавил исключительно configparser из pip или любого другого другой пакет. Он присутствовал по умолчанию. Но когда я отправляю задание в кластере, который также работает на Python 3, я получаю эту ошибку в строке импорта.

В чем может быть причина?

Answer 1

Библиотека является частью стандартной библиотеки и обычно должна быть доступна в PySpark. Однако возникает вопрос: действительно ли вы используете Python 3? В Python 2 модуль назывался ConfigParser; PySpark, использующий Python 2, может объяснить причину. Попробуйте import ConfigParser или проверьте, какие import sys; print(sys.version_info) выводит.