Web Scraping канал Youtube, чтобы получить список видео и другие детали

Question

Я пытаюсь удалить список всех загруженных видео с сайта ЭТОГО . Я использую Beautifulsoap, чтобы получить следующие данные: (1) Название (2) Просмотров (2) Дата загрузки

Я провел некоторую проверку и обнаружил, что div id="details" class="style-scope ytd-grid-video-renderer можно использовать для получения деталей. Это мой Python код:

from bs4 import BeautifulSoup as bs
import requests

my_url = "https://www.youtube.com/user/aandawesome/videos"

r = requests.get(my_url)
page = r.text
soup=bs(page,'html.parser')
res=soup.find_all("div",{
    "id": "dismissable",
    "class": ["style-scope", "ytd-grid-video-renderer"]
})

print(res)

Но я не могу получить доступ к этому div. Выход пуст. Что можно сделать, чтобы решить эту проблему?

Answer 1

Надеюсь, приведенный ниже код поможет вам.

import pandas as pd
pd.set_option('max_colwidth',-1)

from bs4 import BeautifulSoup as bs
import requests

my_url = "https://www.youtube.com/user/aandawesome/videos"

r = requests.get(my_url)
page = (r.text)
soup=bs(page,'html.parser')

d = []
for match in soup.find_all('div',class_="yt-lockup-content"):
    view = match.find('ul',class_="yt-lockup-meta-info")
    d.append(
        {
            'Title': match.a.text,
            'View': view.text.split("views")[0],
            'Upload date':view.text.split("views")[1]
        }
    )

pd.DataFrame(d)