Записать DataFrame в HDFS, соединение отказано

Question

Я пытаюсь запустить пример из книги Освоение Apache Spark 2.x.

scala> val df = sc.parallelize(Array(1,2,3)).toDF
df: org.apache.spark.sql.DataFrame = [value: int]

Я новичок в мире Spark, но я думаю, что данные должны быть сохранены в HDFS

scala> df.write.json("hdfs://localhost:9000/tmp/account.json")
java.net.ConnectException: Call From miki/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

Я проверил с помощью dfsadmin

 hadoop dfsadmin -safemode enter
WARNING: Use of this script to execute dfsadmin is deprecated.
WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.

safemode: FileSystem file:/// is not an HDFS file system

выход в секунду

miki@miki:~$ jps
13798 Jps
10906 SparkSubmit

Как это исправить?

Answer 1

Согласно выводу jps вы не запускаете необходимые демоны Hadoop, необходимые для чтения и записи из HDFS (namenode, datanode, resourcemanager). Убедитесь, что вы запустили start-yarn и start-dfs на своей машине, чтобы запустить HDFS.