Я использую Cloudera VM (cdh3u2) в качестве моделируемой распределенной файловой системы.Для создания и записи файлов с веб-сервера я изменил свойство fs.http.address, указав IP-адрес виртуальной машины.Эта функция работает отлично.Проблема возникает, когда HIVE выполняет задание по уменьшению карты, например
SELECT COUNT(*) FROM tmp2;
Я получаю следующее сообщение:
hive> select count(*) from tmp2;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201111301538_0001, Tracking URL = http://0.0.0.0:50030/jobdetails.jsp?jobid=job_201111301538_0001
Kill Command = /usr/lib/hadoop/bin/hadoop job -Dmapred.job.tracker=0.0.0.0:8021 -kill job_201111301538_0001
2011-11-30 16:01:21,773 Stage-1 map = 0%, reduce = 0%
2011-11-30 16:01:43,064 Stage-1 map = 100%, reduce = 100%
Ended Job = job_201111301538_0001 with errors
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
Hive выполняет следующий SQL (не требует задания по уменьшению карты) безпроблема:
SHOW TABLES;
SELECT * FROM tmp2;