Задание Hadoop MapReduce для файла, содержащего теги HTML - PullRequest
Новая
       18

Задание Hadoop MapReduce для файла, содержащего теги HTML

1 голос
/ 03 декабря 2009

У меня есть куча больших HTML-файлов, и я хочу запустить на них задание Hadoop MapReduce, чтобы найти наиболее часто используемые слова. Я написал и свой маппер, и редуктор на Python и использовал потоковую передачу Hadoop для их запуска.

Вот мой картпер: 

#!/usr/bin/env python

import sys
import re
import string

def remove_html_tags(in_text):
'''
Remove any HTML tags that are found. 

'''
    global flag
    in_text=in_text.lstrip()
    in_text=in_text.rstrip()
    in_text=in_text+"\n"

    if flag==True: 
        in_text="<"+in_text
        flag=False
    if re.search('^<',in_text)!=None and re.search('(>\n+)$', in_text)==None: 
        in_text=in_text+">"
        flag=True
    p = re.compile(r'<[^<]*?>')
    in_text=p.sub('', in_text)
    return in_text

# input comes from STDIN (standard input)
global flag
flag=False
for line in sys.stdin:
    # remove leading and trailing whitespace, set to lowercase and remove HTMl tags
    line = line.strip().lower()
    line = remove_html_tags(line)
    # split the line into words
    words = line.split()
    # increase counters
    for word in words:
       # write the results to STDOUT (standard output);
       # what we output here will be the input for the
       # Reduce step, i.e. the input for reducer.py
       #
       # tab-delimited; the trivial word count is 1
       if word =='': continue
       for c in string.punctuation:
           word= word.replace(c,'')

       print '%s\t%s' % (word, 1)

Вот мой редуктор: 

#!/usr/bin/env python

from operator import itemgetter
import sys

# maps words to their counts
word2count = {}

# input comes from STDIN
for line in sys.stdin:
    # remove leading and trailing whitespace
    line = line.strip()

    # parse the input we got from mapper.py
    word, count = line.split('\t', 1)
    # convert count (currently a string) to int
    try:
        count = int(count)
        word2count[word] = word2count.get(word, 0) + count
    except ValueError:
        pass

sorted_word2count = sorted(word2count.iteritems(), 
key=lambda(k,v):(v,k),reverse=True)

# write the results to STDOUT (standard output)
for word, count in sorted_word2count:
    print '%s\t%s'% (word, count)

Всякий раз, когда я просто передаю небольшую небольшую строку, например «Привет, мир, привет, мир ...», я получаю правильный вывод из ранжированного списка. Однако, когда я пытаюсь использовать небольшой HTML-файл и пытаюсь использовать cat для передачи HTML-кода в мой маппер, я получаю следующую ошибку (input2 содержит некоторый HTML-код): 

rohanbk@hadoop:~$ cat input2 | /home/rohanbk/mapper.py | sort | /home/rohanbk/reducer.py
Traceback (most recent call last):
  File "/home/rohanbk/reducer.py", line 15, in <module>
    word, count = line.split('\t', 1)
ValueError: need more than 1 value to unpack

Может кто-нибудь объяснить, почему я это получаю? Кроме того, что является хорошим способом отладки рабочей программы MapReduce?

1 Ответ

1 голос
/ 04 декабря 2009

Вы можете воспроизвести ошибку даже с помощью: 

echo "hello - world" | ./mapper.py  | sort | ./reducer.py

Проблема здесь: 

if word =='': continue
for c in string.punctuation:
           word= word.replace(c,'')

Если word - это один знак пунктуации, как в случае вышеупомянутого ввода (после разделения), то он преобразуется в пустую строку. Поэтому просто переместите чек на пустую строку после замены.

...