Извлечение всех имен файлов csv из каталога HDFS с использованием spark / scala

Question

Может кто-нибудь подсказать, как мне взять только файл .csv из моей директории HDFS, используя scala Я пытаюсь получить все имена файлов CSV из моего местоположения hdfs и пишу ниже код.

    var Fsys1 = FileSystem.get(sparksession.sparkContext.hadoopConfiguration)
    var FileNames = Fsys1 .listStatus(new  Path("hdfspath").filter(_.isFile).map(_.getPath.getName).toList

он дает мне все имена файлов, но я хочу получить только файлы .csv.

Answer 1

Как @ pasha701 упоминается в комментариях. Вы можете фильтровать файлы, заканчивающиеся на ".csv"

.filter (_. ToLowerCase.endsWith (". Csv"))