Не удалось oop потоковая передача с кодом ошибки 1 - PullRequest
Новая
       40

Не удалось oop потоковая передача с кодом ошибки 1

0 голосов
/ 04 мая 2020

Я новичок в Had oop и R. Мой hdf и yearn работает на localhost. Я пытаюсь использовать функции mapreduce с помощью R studio, но проблема заключается в том, что когда я пытаюсь выполнить скрипт, такой как map.R и reduce.R, после добавления и загрузки пакетов, он показывает следующие ошибки в конце.

hadoop streaming failed with error code 1

Вот шаги, которые я выполнил: 

Sys.setenv(HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib/native")
Sys.setenv(HADOOP_HOME="/usr/local/hadoop")
Sys.setenv(HADOOP_CMD="/usr/local/hadoop/bin/hadoop")
Sys.setenv(HADOOP_STREAMING="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar")
Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64")

library(rhdfs)

library(rmr2)

source('/home/hduser/mr/map.R')

source('/home/hduser/mr/reduce.R')

rr<-from.dfs(mapreduce(input='testR.csv', input.format='text', map = map_wc, reduce=reduce_wc, combine=F))

Когда я запускаю команду в r studio. Это показывает это сообщение внизу: 

Streaming Command Failed!
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  : 
  hadoop streaming failed with error code 1
...