Python: группа CSV строка по индексу

Question

Я получил CSV, как это:

sku, col1, col2, test, col3, col4, col5, col6
123,456,99,A,,,,
234,786,99,,,,,
345,678,99,A,,,,
123,,,A,18-123,9999,,
234,,,,18-786,9999,,
345,,,A,12-678,9999,,
123,,,,,,18-123,9999
234,,,A,,,18-786,9999
345,,,,,,12-678,9999

это результат после объединения 3 CSV (разные заголовки / sku могут быть в 3 файлах с разными заполненными столбцами ..)

Моя цель - сгруппировать столбец по sku, чтобы получить что-то вроде taht:

Я довольно новичок в python, поэтому, пожалуйста, извините, если это тривиальный вопрос, но я потерян.

И я заранее не знал названия своего столбца, кроме столбца «sku», который имеет «первичный» ключ.

Спасибо

Answer 1

Работоспособный способ:

newdf=pd.DataFrame()
newdf['sku']=df['sku'][:3]
for i in df.columns.tolist():
    if i != 'sku':
        newdf[i]=df[i].dropna().tolist()
print(newdf)

Answer 2

Простой порядок сохранения решения

import csv
from collections import OrderedDict

result = OrderedDict()
with open('data.csv', 'rb') as csvfile, open("out.csv", "w") as outfile:
    csvreader = csv.reader(csvfile, delimiter=',', quotechar='"')
    header = False
    for row in csvreader:
        if not header:
            header = True
            size = len(row)
        sku = row[0]
        existing_val = result.setdefault(sku, [''] * size)
        for idx, each_val in enumerate(row):
            existing_val[idx] = existing_val[idx] or each_val


    csvwriter = csv.writer(outfile, delimiter=',', quotechar='"')
    for each_sku, val_list in result.iteritems():
        csvwriter.writerow(val_list)

Answer 3

Если вы можете повлиять на начальную обработку CSV-файлов, я думаю, что вы хотите искать, это объединение. Просто прочитайте все CSV-файлы и соедините их вместе в столбце «sku». Однако это зависит от библиотеки или серверной части, которую вы хотите использовать. Если вы используете что-то вроде искры или панды, вы можете напрямую использовать соединения. Если вы используете обычный python, вам понадобится некоторая библиотека или вы сами напишете соединение, как это было описано здесь: Статья Stackoverflow для присоединения

Answer 4

Использование встроенных csv и collection module

Ex:

import csv
from collections import defaultdict


d = defaultdict(dict)
with open(filename, "rU") as infile:
    reader = csv.DictReader(infile)
    for line in reader:
        d[line["sku"]].update({k.strip(): v for k,v in line.items() if v})


with open(filename1, "w") as outfile:
    writer = csv.DictWriter(outfile, fieldnames=["sku", "col1", "col2", "test", "col3", "col4", "col5", "col6"])
    writer.writeheader()
    for k, v in d.items():
        writer.writerow(v)

Answer 5

Использование pandas.groupby и first:

df.groupby(['sku'],as_index=False).first()
    sku col1    col2    test    col3    col4    col5    col6
0   123 456.0   99.0    A   18-123  9999.0  18-123  9999.0
1   234 786.0   99.0    A   18-786  9999.0  18-786  9999.0
2   345 678.0   99.0    A   12-678  9999.0  12-678  9999.0

---

Для удаления .0 и преобразования в int тип данных с использованием astype:

df.groupby(['sku'],as_index=False).first().astype(int,errors='ignore')
    sku col1 col2   test    col3    col4    col5    col6
0   123 456    99   A     18-123    9999    18-123  9999
1   234 786    99   A     18-786    9999    18-786  9999
2   345 678    99   A     12-678    9999    12-678  9999