Получение всех пользовательских отзывов от imdb с использованием Python - PullRequest
Новая
       62

Получение всех пользовательских отзывов от imdb с использованием Python

0 голосов
/ 29 августа 2018

Я очень хорошо разбираюсь в программировании, и я подумал, что лучший способ начать это - попробовать себя в различных проектах по программированию. Я пытаюсь отсканировать отзывы пользователей из imdb для визуализации данных и анализа настроений в отзывах.

Я могу очистить первые 25 комментариев, но из-за кнопки «загрузить больше» я не могу очистить другие комментарии. В течение последних нескольких недель я пробовал различные видео, блоги и другие публикации на YouTube, например, «Как использовать python, чтобы нажать« загрузить больше »в imdb». Тем не менее, я все еще застрял.

Я был бы очень признателен, если бы кто-нибудь смог объяснить, как использовать раздел "Сеть" в DevTools, и дать совет по его интеграции в мой код для решения этой проблемы.

Ниже я включил свой код: 

    from urllib.request import urlopen as uReq
    from bs4 import BeautifulSoup as soup

    my_url="https://www.imdb.com/title/tt5463162/reviews/"
    uClient = uReq(my_url)
    page_html = uClient.read()
    uClient.close()

    # Parse HTML page
    page_soup = soup(page_html,"html.parser")

    # Save review div tags to review_containers
    reviews = page_soup.findAll("div",{"class":"review-container"})

    print(reviews)

Я не закончил весь цикл, чтобы извлечь все данные. Я собирался закончить это, как только я узнал, как получить все комментарии. Я пытаюсь получить рейтинг, название и обзор, но у меня уже есть эта часть, решенная в другом файле.

Заранее спасибо!

...