Как я могу получить доступ к pyspark, установленному внутри кластера головных узлов hdfs?

Question

У меня есть головной узел, состоящий из кластера hadoop. Я вижу, что pyspark установлен в кластере hdfs, т. Е. Я могу использовать оболочку pyspark внутри пользователя hdfs. Но пользовательский pyspark headnode не установлен.Поэтому я не могу получить доступ к файлам из hdfs и перенести их в pyspark. Как я могу использовать pyspark внутри hdfs в блокноте jupyter. Я установил pyspark в узле head пользователя, но не могу получить доступ к файлам hdfs. Я предполагаю, чтоjupyter не может использовать искру, установленную в hdfs.Как мне включить, чтобы я мог получить доступ к файлам hdfs внутри jupyter.

Теперь, когда я получаю доступ к файлам hdfs внутри jupyter,

It says 'Spark is not installed'

Я знаю, что это широко, Если я подчеркнул или подчеркнул какой-либо пункт, дайте мне знать в комментариях

Answer 1

headnode - это другая учетная запись linux или другой хост linux?

если это просто другая учетная запись - сравните переменные среды для обеих учетных записей. войдите в hdfs и запустите "env | sort", а затем сделайте то же самое для headnode.

Проверьте, главным образом, есть ли различия в переменных окружения PATH и некоторых переменных SPARK