Как запустить команду файловой системы HDFS через Spark?

Question

Я могу запустить эту команду для HDFS:

hadoop fs -ls /user/hive/warehouse/databasename.db/tablename

Как написать команду в Spark, чтобы показать все файлы в определенной папке в HDFS?

Спасибо.

Answer 1

ОК, приведенный ниже код scala просто дает вам возможность распечатать все файлы hdfs по родительскому пути. Вы можете улучшить его в соответствии со своими потребностями.

  def getAllPaths(parentPath:String, fs: FileSystem) = {
    val fileStatus = fs.listStatus(new Path(parentPath))
    for( file<- fileStatus) {
      println(file.getPath.toString)
    }
  }