как рекурсивно пройти через заданный каталог HDFS и получить имя файла с путем в pyspark

Question

Структура моего каталога в hdfs выглядит следующим образом:

---- Каталог

 |----sub folder 1
          |--------file 1
          |---------file 2
 |                          
 |----sub folder 2
            |--------file 1
            |---------file 2
 |----sub folder 3
            |--------file 1
            |---------file 2
 |----file 1

Я хочу рекурсивно пройти через каталог HDFS, чтобы получить все имя файла и его путь.