Я пытаюсь почистить ссылки на все видео с канала YT. Я написал сценарий ниже, но он получил только первые 30 видео. Список видео YouTube загружает больше видео по мере прокрутки вниз. Как я могу изменить скрипт ниже, чтобы я мог получить все видео?
from bs4 import BeautifulSoup
import requests
all_videos = requests.get('https://www.youtube.com/user/unboxtherapy/videos')
soup = BeautifulSoup(all_videos.text, 'html.parser')
for link in soup.find_all('a', class_='yt-uix-sessionlink yt-uix-tile-link spf-link yt-ui-ellipsis yt-ui-ellipsis-2'):
print(link.get('href'))