Сбой команды потоковой передачи в BIgData в Hadoop 1.2.1 - PullRequest
Новая
       20

Сбой команды потоковой передачи в BIgData в Hadoop 1.2.1

0 голосов
/ 10 ноября 2018

Я работаю над bigdata hadoop, и получение потоковой команды не удалось, поэтому, пожалуйста, Помоги мне.

также прикрепляем карту и уменьшаем код 

 mapper code-

 #!/usr/bin/python2
 import sys

 k=[]
 for i in sys.stdin:
 k.extend(i.split())
 print (k)
 reducer code-

enter code here #!/usr/bin/python2

import sys
fcounter=0
mcounter=0
M=[]
for k in sys.stdin:
     M=k
print(M+"\n")
   for n in M:
   if 'F'==n:
            fcounter+=1
   if'M'==n:
            mcounter+=1

   tot=mcounter+fcounter
print ("Total no. of Candidates:-"+str(tot)/2)      
print ('F:',int(fcounter/2)+1)
print ('M:',int(mcounter/2)+1)

//this is the streaming command
 hadoop jar /usr/share/hadoop/contrib/streaming/hadoop-streaming-1.2.1.jar - 
 mapper mapper.py -file mapper.py -reducer reducer.py -file reducer.py - 
 input /Aadhar_detail.txt -output / aadharop.txt

также прикрепляем карту и уменьшаем код

...