Я пишу небольшую программу для загрузки файлов hdfs с использованием Java. Когда я запускаю код, я получаю список файлов из hdfs. Но я хочу получить файлы разделов в одиночку. Например, файлы part-00000.
Ниже приведен пример кода:
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost");
FileSystem hdfs = FileSystem.get(new URI(
"hdfs://localhost"), conf);
RemoteIterator<LocatedFileStatus> fsStatus = hdfs.listFiles(
new Path("/hdfs/path"), true);
while (fsStatus.hasNext()) {
String path = fsStatus.next().getPath().toString();
System.out.println(path.matches("part-"));
}