Как узнать, существует ли файл в формате hdf, используя Java? - PullRequest
Новая
       85

Как узнать, существует ли файл в формате hdf, используя Java?

1 голос
/ 12 апреля 2020

Я пытаюсь найти, существуют ли файлы триггеров в каталоге hdfs.

Код: 

    private static final int index = 23;
    @SuppressWarnings("serial")
    private static HashMap<String, Boolean> files = new HashMap<String, Boolean>() {{
        put("/user/ct_troy/allfiles/_TRIG1", false);
        put("/user/ct_troy/allfiles/_TRIG2", false);
        put("/user/ct_troy/allfiles/_TRIG3", false);
        put("/user/ct_troy/allfiles/_TRIG4", false);
        put("/user/ct_troy/allfiles/_TRIG5", false);
    }};

    private static boolean availableFiles(String file_name){
        Configuration config = new Configuration();
        config.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
        config.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
        try {
            FileSystem hdfs = FileSystem.get(config);
            // Hadoop DFS Path - Input file
            Path path = new Path(file_name); // file_name - complete path and file name.
            // Check if input is valid
            if (hdfs.exists(path) == false) {
                System.out.println(file_name + " not found.");
                throw new FileNotFoundException(file_name.substring(index));
            }
            else{
                    System.out.println(file_name + " File Present.");
                    return true;
                }
            }catch (IOException e) {
            }
        return false;
    }

Я передаю ключи HashMap<> files как file_name аргумент функции availableFiles. Я построил флягу и запустил ее на узле, он дал мне следующий вывод: 

_TRIG2 not found.
_TRIG3 not found.
_TRIG1 not found.
_TRIG4 not found.
_TRIG5 not found.

Не уверен, почему это происходит, существуют _TRIG1, _TRIG2 и _TRIG3, где как _TRIG4 и _TRIG5 нет. Это дает мне одинаковый результат для всех файлов триггера. Справка.

1 Ответ

0 голосов
/ 12 апреля 2020

Из официальной документации вы можете проверить, существуют ли нужные вам файлы с помощью прямого внутреннего звонка: @see https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#test

test

Usage: hadoop fs -test -[defswrz] URI

Options:

    -d: f the path is a directory, return 0.
    -e: if the path exists, return 0.
    -f: if the path is a file, return 0.
    -s: if the path is not empty, return 0.
    -w: if the path exists and write permission is granted, return 0.
    -r: if the path exists and read permission is granted, return 0.
    -z: if the file is zero length, return 0.

Example:

    hadoop fs -test -e filename

Ваш код java кажется хорошо выглядишь. Может быть, если ваш тест не очень хорошо: 

if (!hdfs.exists(path)) { // <=================== @see the change and test it.
...