Я новичок в Had oop, и RI пытается использовать программу mappedredeuce с R. У меня установлены пакеты hdfs и rmr2 в Rstuido. Когда я запускаю скрипт, я получаю ошибки.
Сбой команды потоковой передачи! Ошибка в MR (карта = карта, уменьшить = уменьшить, объединить = объединить, vectorized.reduce,: имел oop потоковой передачи не удалось с кодом ошибки 5
Вот шаги, которые я выполнил.
Sys.setenv (HADOOP_OPTS = "- D java .library.path = / usr / local / hadoop / lib / native") Sys.setenv (HADOOP_HOME = "/ usr / local / had *) 1033 * ") Sys.setenv (HADOOP_CMD =" / usr / local / hadoop / bin / had oop ") Sys.setenv (HADOOP_STREAMING =" / usr / local / hadoop / share / hadoop / tools / lib / had oop -streaming-2.6.5.jar ") Библиотека Sys.setenv (JAVA_HOME =" / usr / lib / jvm / java -8-openjdk-amd64 ") (rhdfs)
Тогда.
hdfs.init ()
библиотека (rmr2)
источник ('/ home / hduser / mr / map.R')
source ('/ home / hduser / mr / redu.R')
А затем.
rr <-from.dfs (mapreduce (input =) 'testR.csv', input.format = 'text', map = map_w c, lower = redu_w c, объединить = F)) </p>