Ни один модуль с именем 'resource' не устанавливает Apache Spark в Windows

Question

Я пытаюсь установить apache spark для локального запуска на моей машине с Windows. Я следовал всем инструкциям здесь https://medium.com/@loldja/installing-apache-spark-pyspark-the-missing-quick-start-guide-for-windows-ad81702ba62d.

После этой установки я могу успешно запустить pyspark и выполнить команду, такую ​​как

textFile = sc.textFile("README.md")

Когда я затем выполняю команду, которая работает с textFile, такую ​​как

textFile.first()

Spark выдает мне ошибку «работник не смог подключиться обратно», и я вижу в консоли исключение, исходящее от worker.py, которое говорит «ModuleNotFoundError: нет модуля с именем resource». Глядя на исходный файл, я вижу, что этот файл python действительно пытается импортировать модуль ресурсов, однако этот модуль недоступен в системах Windows. Я понимаю, что вы можете установить spark на windows, так как мне обойти это?

Answer 1

Исправление можно найти по адресу https://github.com/apache/spark/pull/23055.

Модуль ресурсов предназначен только для систем Unix / Linux и не применим в среде Windows. Это исправление еще не включено в последний выпуск, но вы можете изменить файл worker.py в вашей установке, как показано в запросе на извлечение. Изменения в этом файле можно найти по адресу https://github.com/apache/spark/pull/23055/files.

Вам придется повторно сжать каталог pyspark и переместить его в папку lib в каталоге установки pyspark (куда вы извлекли предварительно скомпилированный pyspark в соответствии с упомянутым учебником)

Answer 2

Добавление ко всем этим ценным ответам

Для пользователей Windows: убедитесь, что вы скопировали правильную версию файла winutils.exe (для вашей конкретной версии Hadoop) в папку spark / bin

Скажем, если у вас Hadoop 2.7.1, вы должны скопировать файл winutils.exe из папки Hadoop 2.7.1 / bin

Ссылка для этого находится здесь

https://github.com/steveloughran/winutils

Answer 3

Я боролся все утро с одной и той же проблемой.Лучше всего понизить рейтинг до Spark 2.3.2