Вывести список локальной файловой системы с помощью HDFS lister Spark - PullRequest
1 голос
/ 05 августа 2020

У меня есть функция для перечисления файлов в каталогах в HDFS. Я хотел бы перечислить файлы локальных каталогов в своих модульных тестах, так как я могу переключить конфигурацию на локальную файловую систему? Вот как я его сейчас использую в тестах:

val filesClient = new MockFilesClient(spark().sparkContext.hadoopConfiguration) //parameter i need to replace
filesClient.list(any[String]) returns List(samplePath)

Сам метод:

class MockFilesClient(localFsConfig: Configuration){

  def list(path: String): List[String] = {
    listPath(new Path(path.toString), recursive = true)(localFsConfig)
      .toList
  }.map(p => p.toString)
}
...