Webscrapping данные из источника JSON

Question

Итак, я пытаюсь получить некоторую информацию с веб-сайта с python, из интернет-магазина.

Я попробовал это:

my_url = requests.get(MY_URL)

data = my_url.json()

name = data['MainContent'][0]['contents'][0]['productList']['products'][0]['productModel']["displayName"]
price = data['MainContent'][0]['contents'][0]['productList']['products'][0]['priceInfo']['priceItemSale']["gross"]
url= data['MainContent'][0]['contents'][0]['productList']['products'][0]['productModel']["url"]

filename = "test.csv"
csv_writer = csv.writer(open(filename, 'w'))
headers = "Name, Price, Link\n"
f.write(headers)
f.close()

В этом интернет-магазине есть много товаров с этим атрибутом "productModel", но как мне получить их все и записать в CSV?Я хочу, чтобы в интернете было снято имя, цена и ссылка на эту страницу в разных ячейках.

Answer 1

Что-то вроде:

for mc in data['MainContent']:
    for co in mc:
        for prod in co['productList']['products']:
            name = prod['productModel']['displayName']