Как получить доступ к файлам hdfs головного узла через блокнот jupyter - PullRequest
Новая
       37

Как получить доступ к файлам hdfs головного узла через блокнот jupyter

0 голосов
/ 21 января 2019

Я настроил кластер головного узла. Я успешно интегрировал ноутбук Jupyter с ним. ( Используя этот ответ )

У меня также есть возможность запустить pyspark. Я сослался по этой ссылке

Теперь я хочу получить доступ к файлам hdfs в головном узле через блокнот jupyter. Но когда я запускаю команду ниже, которая выбирает данные из hdfs. 

df = sqlContext.read.json('hdfs:///192.168.21.110/user/hdfs/ML/pass/Teleram_18/notefind/2018-12-14/')

Я получаю следующую ошибку 

An error occurred while calling o29.json.
: java.io.IOException: Incomplete HDFS URI, no host: hdfs:///192.168.21.110/user/hdfs/ML/pass/Teleram_18/notefind/2018-12-14/
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:143)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2669)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
    at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:705)
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
    at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$15.apply(DataSource.scala:389)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.immutable.List.foreach(List.scala:381)
    at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
    at scala.collection.immutable.List.flatMap(List.scala:344)
    at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:388)
    at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:239)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
    at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:397)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Что на самом деле не так? Одна вещь, которую я заметил, это то, что у меня установлен pyspark на головном узле пользователя и на головном узле пользователя hdfs. И я использую ноутбук jupyter с помощью головного узла пользователя.

Я отправляю прикладные программы в головном узле hdfs и могу получить доступ к файлам hdfs в оболочке spark пользователя hdfs. Что я могу сделать, чтобы получить доступ к файлам hdfs от обычного пользователя headnode. С моим путем нет ничего плохого, я могу найти данные с помощью hadoop fs

ОБНОВЛЕНИЕ : я вижу, что в обычном пользовательском режиме используются python3.5 и pyspark 2.4, тогда как в hdfs используются python2.7 и pyspark 2.3.1. Как я могу решить эту проблему

...