У меня есть функция для перечисления файлов в каталогах в HDFS. Я хотел бы перечислить файлы локальных каталогов в своих модульных тестах, так как я могу переключить конфигурацию на локальную файловую систему? Вот как я его сейчас использую в тестах:
val filesClient = new MockFilesClient(spark().sparkContext.hadoopConfiguration) //parameter i need to replace
filesClient.list(any[String]) returns List(samplePath)
Сам метод:
class MockFilesClient(localFsConfig: Configuration){
def list(path: String): List[String] = {
listPath(new Path(path.toString), recursive = true)(localFsConfig)
.toList
}.map(p => p.toString)
}