PDI hadoop файловый браузер нет списка

Question

У меня есть кластер с одним экземпляром hadoop, настроенный для работы с некоторым IP-адресом (вместо localhost) в centos linux. Мне удалось правильно выполнить пример работы mapreduce. Это говорит мне о том, что настройка hadoop выглядит нормально.

Я также добавил пару файлов данных в базу данных hadoop в папке "/ data" и отображается через команду "dfs"

bin/hadoop dfs -ls /data 

Я пытаюсь подключиться к этой системе HDFS от PDI / Kettle. В обозревателе файлов HDFS, если я неправильно введу параметры подключения HDFS, например, неверный порт, он говорит, что не может подключиться к серверу HDFS. Вместо этого, если я правильно введу все параметры (сервер, порт, пользователь, пароль) и нажму «подключить», это не выдаст ошибку, то есть сможет подключиться. Но в списке файлов он показывает "/".

Не показывает папку данных. Что может быть не так?

Я уже пробовал это:

1. пробовал chmod 777 для файлов данных, используя "bin / hadoop dfs -chmod -R 777 / data"

2. попытался использовать root, а также пользователя hdfs linux в файловом браузере PDI

3. попытался добавить файлы данных в другом месте

4. несколько раз переформатировал hdf и снова добавил файлы данных

5. копирование файла jar hadoop-core из hadoop, устанавливаемого в PDI extlib

но он не выводит список файлов в браузере PDI. В журнале PDI я тоже ничего не вижу ... Нужна быстрая помощь ... спасибо !!!

-abhay

Answer 1

Я прошел эту проблему. В Windows PDI ничего не регистрировал в файле журнала. Я попробовал то же самое на Linux, когда в журнале было показано, что в Apache отсутствует библиотека, конфигурация commons. Я скачал последнюю версию того же самого и поместил ее в папку extlib / pentaho и boom! это сработало !!