покажите метку времени файла и выберите последний файл из каталога, используя Scala в лазурных блоках данных - PullRequest
0 голосов
/ 29 октября 2019

Я хочу выбрать самый последний файл из каталога и показать временную метку всех файлов, используя код scala в лазурных блоках данных.

Не могли бы вы помочь мне в этом.

1 Ответ

0 голосов
/ 12 ноября 2019

Я пробовал это, используя приведенный ниже код, который работает нормально.

`var basePath = "<Full_Path>"

 var files = Array[String]()
 var maxTS: Long = 0
 var TimeFile = collection.mutable.Map[Long, String]()
 val conf = new Configuration()
 val hdfs = FileSystem.get( conf )

 val f = new Path( basePath )
 val messageFile = hdfs.listFiles( f, true )

 while (messageFile.hasNext()) {
    val message = messageFile.next()
    if (message.getPath.toString().endsWith( "tsv" )) {
        files = files :+ message.getPath.toString()          
        TimeFile += ( message.getModificationTime -> message.getPath.toString())        

    }
  }`
...