Hadoop положил команду, ничего не делая!

Question

Я использую дистрибутив Cloudera для Hadoop, и все работает отлично. Файлы hdf содержат большое количество файлов .seq. Мне нужно объединить содержимое всех файлов .seq в один большой файл .seq. Однако, getmergeКоманда ничего не сделала для меня. Затем я использовал cat и передал данные некоторых файлов .seq в локальный файл. Когда я хочу «поместить» этот файл в hdfs, он ничего не делает. Сообщение об ошибке не появляется, и файл не создается.

Я могу "touchz" файлы в hdfs, и разрешения пользователей здесь не проблема. Команда put просто не работает. Что я делаю не так?

Answer 1

если команды hadoop молча завершаются неудачей, вы должны взглянуть на это.

Просто введите: 'which hadoop', это даст вам местоположение исполняемого файла "hadoop".Это сценарий оболочки, просто отредактируйте его и добавьте логирование, чтобы увидеть, что происходит.

Если в начале сценарий hadoop bash завершился неудачей, неудивительно, что команда hadoop dfs -put не работает.

Answer 2

Напишите задание, которое объединит все файлы последовательности в один.Это просто стандартный маппер и редуктор с одной задачей сокращения.