Как рекурсивно вывести список файлов в папках и подпапках в файлах данных dbutils.fs.ls, используя pyspark?

Question

У меня есть код ниже в Scala и изо всех сил пытается конвертировать в Pyspark.Пожалуйста, кто-нибудь может помочь.

def allFiles(path: String) -> Map[String, Long]:
  dbutils.fs.ls(path).map(file => {
    // Work around double encoding bug
    if (file.isDir):
      allFiles(path)
    else:
      Map[String, Long](path -> file.size)
  }).reduce(_ ++ _)