прочитать данные из корневой папки HDFS и добавить их в Spark DF

Question

Я читаю файлы JSON из папки HDFS в Spark Scala

Код:

val path = "hdfs://year/month/date/*"
var df = spark.read.format("json").load(path)

Таким образом, он читает все части - файлы JSON в папке даты.

Но я хочу прочитать все файлы JSON в папке year и добавить их в DF. Любые предложения, пожалуйста.

Answer 1

val path = "hdfs://year/*/*/*"
var df = spark.read.format("json").load(path)

Это сработало.