Загрузить список файлов разделов hdfs - PullRequest
0 голосов
/ 01 мая 2019

Я пишу небольшую программу для загрузки файлов hdfs с использованием Java. Когда я запускаю код, я получаю список файлов из hdfs. Но я хочу получить файлы разделов в одиночку. Например, файлы part-00000.

Ниже приведен пример кода:

            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost");
            FileSystem hdfs = FileSystem.get(new URI(
                    "hdfs://localhost"), conf);
            RemoteIterator<LocatedFileStatus> fsStatus = hdfs.listFiles(
                    new Path("/hdfs/path"), true);
            while (fsStatus.hasNext()) {
                String path = fsStatus.next().getPath().toString();
                System.out.println(path.matches("part-"));

            }

1 Ответ

0 голосов
/ 01 мая 2019

Я предполагаю, что вы хотите напечатать этот путь, а не тот факт, что он соответствует

if (path.startsWith("part-")) {
    System.out.println(path);
} 
...