Чтобы вернуть json в желаемом формате, вы можете использовать встроенный метод dataframe вместо перечисления и jsonifying:
df.to_json(orient="records")
Это даст вам строку в кодировке json, как в примере ниже:
df = pd.DataFrame([[5, 'Sanjeev', 'AE'], [6, 'Sven', 'AA']], columns = ["id", "name", "2"])
Что возвращает:
id name 2
0 5 Sanjeev AE
1 6 Sven AA
А затем как JSON:
df.to_json(orient="records")
'[{"id":5,"name":"Sanjeev","2":"AE"},{"id":6,"name":"Sven","2":"AA"}]'