Какая эквивалентная команда для окон связана с "cat cleanDataset.csv | python mapper.py | python reducer.py"? - PullRequest
Новая
       25

Какая эквивалентная команда для окон связана с "cat cleanDataset.csv | python mapper.py | python reducer.py"?

0 голосов
/ 04 апреля 2019

Я пытаюсь сделать MapReduce на моем компьютере с Windows с помощью Python.Я застрял в вышеупомянутой команде, которая связана с машиной Unix.Так может ли кто-нибудь дать мне знать, какая именно команда похожа на Windows для этой команды?

Я пробовал подсчет слов, и он был одним из них успешно, и, следовательно, я пытаюсь что-то с файлом CSV. 

#Mapper.py file
import sys

# input comes from STDIN (standard input)
for line in sys.stdin:
    line = line.strip()
    line = line.split(",")

    if len(line) >=2:
        Category = line[1]
        Rating = line[2]

        print '%s\t%s' % (Category, Rating)

##Reducer.py file
import sys

Category_rating = {}

#Partitoner
for line in sys.stdin:
    line = line.strip()
    Category, Rating = line.split('\t')

    if Category in Category_rating:
        Category_rating[Category].append(int(Rating))
    else:
        Category_rating[Category] = []
        Category_rating[Category].append(int(Rating))
#Reducer
for Category in Category_rating.keys():
    ave_rate = sum(Category_rating[Category])*1.0 / len(Category_rating[Category])
    print '%s\t%s'% (Category, ave_rate)

Я бы ожидал здесь среднего рейтинга приложений для Android по уникальному Catagory.

...