oop получил ожидаемый JSON. WebHDFS включен? Получил ''

Question

У меня есть несколько файлов CSV в уже oop, когда я пытаюсь

hdfs = pyhdfs.HdfsClient(hosts='34.71.193.160:8123', user_name='root')

files_name = hdfs.listdir('/user/input/')

Получил это сообщение об ошибке, не могу найти, как исправить

HdfsException: Expected JSON. Is WebHDFS enabled? Got ''

Answer 1

Я работаю над Pyspark Jupyte Notebook

Spark может напрямую читать с NameNode. Не используйте WebHDFS

, например, чтение всех файлов в каталоге строка за строкой

df = spark.read.csv("/user/input")
df.show()