Hadoop MapReduce установить рекурсивный ввод - метод не найден - PullRequest
Новая
       15

Hadoop MapReduce установить рекурсивный ввод - метод не найден

0 голосов
/ 22 марта 2019

Я хочу прочитать входные данные из каталога, где есть другие каталоги и файлы внутри этих каталогов; 

Input
    -Dir1
        -f11.txt
        -f12.txt
    -Dir2
        -f21.txt
        -f22.txt

Я должен прочитать входные данные рекурсивно, и решение должно быть 

FileInputFormat.setInputDirRecursive(job, true);

Но я получаю ошибку method not found for FileInputFormat.

Я использую Eclipse, путь сборки проекта содержит библиотеку hadoop-core-2.6.0-mr1-cdh5.7.0.jar; Глядя на API Hadoop 2.6 ( 1 ), FileInputFormat должен иметь метод setInputDirRecursive(...), но в моей библиотеке его нет.

Я пытался найти эту банку в Интернете, но я не нашел файл баночки, содержащий этот метод.

Кроме того, я скачал библиотеки из контейнера cloudera, в котором команда hadoop version говорит Hadoop 2.6.0-cdh5.7.0, поэтому это должен быть действительный jar.

...