Разобрать CSV-файл и собрать значения - PullRequest
4 голосов
/ 10 января 2012

Я хотел бы проанализировать файл CSV и собрать значения.Строка города имеет повторяющиеся значения (пример):

CITY,AMOUNT
London,20
Tokyo,45
London,55
New York,25

После анализа результат должен выглядеть примерно так:

CITY, AMOUNT
London,75
Tokyo,45
New York,25

Я написал следующий код, чтобы извлечь уникальные названия города:

def main():
    contrib_data = list(csv.DictReader(open('contributions.csv','rU')))
    combined = []
    for row in contrib_data:
      if row['OFFICE'] not in combined:
        combined.append(row['OFFICE'])

Как мне агрегировать значения?

Ответы [ 2 ]

7 голосов
/ 10 января 2012

Проверено в Python 3.2.2:

import csv
from collections import defaultdict
reader = csv.DictReader(open('test.csv', newline=''))
cities = defaultdict(int)
for row in reader:
    cities[row["CITY"]] += int(row["AMOUNT"])

writer = csv.writer(open('out.csv', 'w', newline = ''))
writer.writerow(["CITY", "AMOUNT"])
writer.writerows([city, cities[city]] for city in cities)

Результат:

CITY,AMOUNT
New York,25
London,75
Tokyo,45

Что касается ваших дополнительных требований:

import csv
from collections import defaultdict

def default_factory():
    return [0, None, None, 0]

reader = csv.DictReader(open('test.csv', newline=''))
cities = defaultdict(default_factory)
for row in reader:
    amount = int(row["AMOUNT"])
    cities[row["CITY"]][0] += amount
    max = cities[row["CITY"]][1]
    cities[row["CITY"]][1] = amount if max is None else amount if amount > max else max
    min = cities[row["CITY"]][2]
    cities[row["CITY"]][2] = amount if min is None else amount if amount < min else min
    cities[row["CITY"]][3] += 1
for city in cities:
    cities[city][3] = cities[city][0]/cities[city][3] # calculate mean

writer = csv.writer(open('out.csv', 'w', newline = ''))
writer.writerow(["CITY", "AMOUNT", "max", "min", "mean"])
writer.writerows([city] + cities[city] for city in cities)

Это дает вам

CITY,AMOUNT,max,min,mean
New York,25,25,25,25.0
London,75,55,20,37.5
Tokyo,45,45,45,45.0

Обратите внимание, что в Python 2 вам потребуется дополнительная строка from __future__ import division вверху, чтобы получить правильные результаты.

0 голосов
/ 10 января 2012

Использование dict со значением в качестве AMOUNT может помочь.Примерно так:

Предположим, вы читаете по одной строке за раз, и city обозначает текущий город, а amount обозначает текущую сумму -

main_dict = {}

---for loop here---
if city in main_dict:
    main_dict[city] = main_dict[city] + amount
else:
    main_dict[city] = amount
---end for loop---

В концецикл у вас будут агрегированные значения в main_dict.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...