Как я могу выскоблить продукты со страницы каталога товаров, используя Python? - PullRequest
Новая
       7

Как я могу выскоблить продукты со страницы каталога товаров, используя Python?

1 голос
/ 09 января 2020

Пожалуйста, обратите внимание, что я новичок ie, когда дело доходит до просмотра веб-страниц. Мне удалось успешно вычеркнуть товары из другого каталога, но на этот раз мне не повезло.

Я использую модуль Beautifulsoup Python для веб-скраппинга продуктов со страницы https://drop.com/all-communities/drops. Тем не менее, не может захватить карты продукта. Моя проблема заключается в том, что есть много вложенных классов и в каждом теге есть несколько классов в списке. Я пытался поиграться с атрибутами класса, но ничего не получалось.

HTML слишком длинный, поэтому я не буду его здесь включать, но, пожалуйста, посмотрите на него.

Вот код, который у меня есть: 

def scrapesinglepage(url):
    page = requests.get(url)
    soup = BeautifulSoup(page.content, 'html.parser')
    allproduct = soup.find_all("div", class_ = ['GridgridItemInner1hwGE', 'Link2link1aAsF', 'GridgridItemInner1hwGE'])

for item in all_product:
    product_name = item.find("div", class_ = ['Text__text__PazWx', 'Text__type--headline__2tK0P', 'Text__line_clamp--2__2UPZw']).get_text()
    print(product_name) # prints 'Audiophile' instead of product name
    scrapesinglepage("https://drop.com/all-communities/drops")

Я пробовал другие варианты метода find_all, включая 

['Grid___c--1__2obI2', 'wdio_card', 'shop_card', 'Card__card__1RLRm', 'Card__background--light-gray__F8hUw', 'Grid__gridItem__2qOsq']
['Grid___c--1__2obI2',  'wdio_card', 'shop_card', 'wdio_drop_card', 'wdio_drop_card--live', 'Card__card__1RLRm', 'Card__background--light-gray__F8hUw', 'Grid__gridItem__2qOsq']

Любая помощь будет принята с благодарностью, спасибо!

...