Конвертировать pandas фрейм данных в указанный c Json формат в python

Question

У меня большой набор данных с 2000+ строками, я хочу преобразовать его в формат Specifi c Json. Я пробовал этот код на примере набора данных.

Я пытался использовать to_ json, to_dict, но он дает вывод в формате generi c.

import pandas as pd  
from collections import defaultdict  

data = [['food', 'vegatables', 10], ['food', 'fruits', 5], ['food', 'pulses', 12], ['cloth', 'shirts',2], ['cloth', 'trousers', 6], ['books', 'notebook', 3], ['pens', 'roller', 4], ['pens', 'ball', 3]]  

df = pd.DataFrame(data, columns = ['Items', 'Subitem', 'Quantity']) 

labels = defaultdict(int)
labels1 = defaultdict(int)
for cat in df["Items"]:
   labels[cat] += 1
for sub in df["Subitem"]:
   labels1[sub] += 1

check = [{"item": i, "weight": labels[i], 'groups':[{"subitem":j, "weight": labels1[j], "group" : [] } for j in labels1] } for i in labels]
check

Я получаю вывод как это

[{'item': 'food',
 'weight': 3,
 'groups': [{'subitem': 'vegatables', 'weight': 1, 'group': []},
  {'subitem': 'fruits', 'weight': 1, 'group': []},
  {'subitem': 'pulses', 'weight': 1, 'group': []},
  {'subitem': 'shirts', 'weight': 1, 'group': []},
  {'subitem': 'trousers', 'weight': 1, 'group': []},
  {'subitem': 'notebook', 'weight': 1, 'group': []},
  {'subitem': 'roller', 'weight': 1, 'group': []},
  {'subitem': 'ball', 'weight': 1, 'group': []}]},
  {'item': 'cloth',
  'weight': 2,
  'groups': [{'subitem': 'vegatables', 'weight': 1, 'group': []},
  {'subitem': 'fruits', 'weight': 1, 'group': []},
  {'subitem': 'pulses', 'weight': 1, 'group': []},
  {'subitem': 'shirts', 'weight': 1, 'group': []},
  {'subitem': 'trousers', 'weight': 1, 'group': []},
  {'subitem': 'notebook', 'weight': 1, 'group': []},
  {'subitem': 'roller', 'weight': 1, 'group': []},
  {'subitem': 'ball', 'weight': 1, 'group': []}]},
  {'item': 'books',
  'weight': 1,
  'groups': [{'subitem': 'vegatables', 'weight': 1, 'group': []},
  {'subitem': 'fruits', 'weight': 1, 'group': []},
  {'subitem': 'pulses', 'weight': 1, 'group': []},
  {'subitem': 'shirts', 'weight': 1, 'group': []},
  {'subitem': 'trousers', 'weight': 1, 'group': []},
  {'subitem': 'notebook', 'weight': 1, 'group': []},
  {'subitem': 'roller', 'weight': 1, 'group': []},
  {'subitem': 'ball', 'weight': 1, 'group': []}]},
  {'item': 'pens',
  'weight': 2,
  'groups': [{'subitem': 'vegatables', 'weight': 1, 'group': []},
  {'subitem': 'fruits', 'weight': 1, 'group': []},
  {'subitem': 'pulses', 'weight': 1, 'group': []},
  {'subitem': 'shirts', 'weight': 1, 'group': []},
  {'subitem': 'trousers', 'weight': 1, 'group': []},
  {'subitem': 'notebook', 'weight': 1, 'group': []},
  {'subitem': 'roller', 'weight': 1, 'group': []},
  {'subitem': 'ball', 'weight': 1, 'group': []}]}]

Но я хочу вывод, который имеет только подэлементы, которые относятся к этому элементу

[{'item': 'food',
'weight': 3,
'groups': [
{'subitem': 'vegatables', 'weight': 10, 'group': []},
{'subitem': 'fruits', 'weight': 5, 'group': []},
{'subitem': 'pulses', 'weight': 12, 'group': []}]},
{'item': 'cloth',
'weight': 2,
'groups': [
{'subitem': 'shirts', 'weight': 2, 'group': []},
{'subitem': 'trousers', 'weight': 6, 'group': []}]},
{'item': 'books',
'weight': 1,
'groups': [
{'subitem': 'notebook', 'weight': 3, 'group': []}]},
{'item': 'pens',
'weight': 2,
'groups': [
{'subitem': 'roller', 'weight': 4, 'group': []},
{'subitem': 'ball', 'weight': 3, 'group': []}]}]

И что нужно сделать, если нужен вывод, подобный этому (где вес элемента суммируется с весами подпункта).

[{'item': 'food',
'weight': 27,
'groups': [
{'subitem': 'vegatables', 'weight': 10, 'group': []},
{'subitem': 'fruits', 'weight': 5, 'group': []},
{'subitem': 'pulses', 'weight': 12, 'group': []}]},
{'item': 'cloth',
'weight': 8,
'groups': [
{'subitem': 'shirts', 'weight': 2, 'group': []},
{'subitem': 'trousers', 'weight': 6, 'group': []}]},
{'item': 'books',
'weight': 3,
'groups': [
{'subitem': 'notebook', 'weight': 3, 'group': []}]},
{'item': 'pens',
'weight': 7,
'groups': [
{'subitem': 'roller', 'weight': 4, 'group': []},
{'subitem': 'ball', 'weight': 3, 'group': []}]}]

Answer 1

Вы можете использовать DataFrame.groupby и DataFrame.to_dict с list comprehension

cols_group = ['Subitem', 'Weight', 'group']

my_list = [{'Item' : item,
            'Weight': len(group),
            'group': group[cols_group].to_dict('records')}

           for item, group in (df.rename(columns = {'Quantity' : 'Weight'})
                                 .assign(group = [[]] * len(df))
                                 .groupby('Items'))]

print(my_list)

Выход

 [{'Item': 'books',
  'Weight': 1,
  'groups': [{'Subitem': 'notebook', 'Weight': 3, 'group': []}]},
 {'Item': 'cloth',
  'Weight': 2,
  'groups': [{'Subitem': 'shirts', 'Weight': 2, 'group': []},
   {'Subitem': 'trousers', 'Weight': 6, 'group': []}]},
 {'Item': 'food',
  'Weight': 3,
  'groups': [{'Subitem': 'vegatables', 'Weight': 10, 'group': []},
   {'Subitem': 'fruits', 'Weight': 5, 'group': []},
   {'Subitem': 'pulses', 'Weight': 12, 'group': []}]},
 {'Item': 'pens',
  'Weight': 2,
  'groups': [{'Subitem': 'roller', 'Weight': 4, 'group': []},
   {'Subitem': 'ball', 'Weight': 3, 'group': []}]}]