Как загрузить модули из определенного каталога в pyspark

Question

У меня есть скрипт на python, который я выполняю на узле Master, используя spark-shell.Этот скрипт использует некоторые пользовательские модули, в частности, другие скрипты.Но когда я запускаю скрипт в локальной системе и импортирую модули, он не выдает никаких исключений.Но когда я выполняю скрипт в среде spark, он выдает исключение, как модуль не найден.Я также попробовал что-то подобное ниже, но это также не работает на кластере искр.sys.path.append ('') import

Может кто-нибудь помочь мне, как я могу работать с модулями в pyspark.Я использую версию Python 2.7.

Answer 1

Ваши кодовые зависимости недоступны у исполнителей.Вы должны указать pyspark распространять ваши исходные файлы, чтобы они были доступны.Вы можете включить отдельные файлы, используя метод addPyFile вашего контекста.Проверьте документацию здесь: http://spark.apache.org/docs/2.1.0/api/python/pyspark.html