Я пытаюсь собрать метаданные (название, размер, продолжительность, ...) из видео на YouTube. Я использую BeautifulSoup, как многие пользователи предложили, и это прекрасно работает! ... но 1 проблема.
при анализе URL YouTube, он находит не более 20-30 видео. любой простой поиск по любому слову (или даже по буквам) даст результат из сотен видео ...
В основном я спрашиваю, как я могу "прокрутить" дальше в поиске, чтобы я мог собрать больше данных из других видео.
** за недосыпание, пример кода ниже
и большая благодарность за любого помощника:)
import urllib.request
from bs4 import BeautifulSoup
url_array = []
response = urllib.request.urlopen("https://www.youtube.com/results?search_query=gardens")
html = response.read()
soup = BeautifulSoup(html, 'html.parser')
for vid in soup.findAll(attrs={'class':'yt-uix-tile-link'}):
url_array.append(vid['href'])
print(len(url_array)) # how many did he find?
# >>> 20 # although on the youtube page you can keep on scrolling....