Я пытаюсь найти источник видео тега с BeautifulSoup в python
import requests
from urllib.request import urlopen
from bs4 import BeautifulSoup as BS
url = '<some url>'
client_id = {'Client-ID': '<some id>'}
json_data = requests.get(url, headers=client_id).json()
def download(some_url) :
html_page = urlopen(some_url)
soup = BS(html_page, "html.parser")
link_to_vid = soup.find('video')['src']
print(link_to_vid)
# urllib.request.urlretrieve(video)
for x in range(0, num_clips):
resp_url = (json_data['data'][x]['url'])
print (resp_url)
download(resp_url)
При запуске этого скрипта я получаю вывод
*link from print(resp_url)*
Traceback (most recent call last):
File "script.py", line 28 in <module>
download(resp_url)
File "script.py", line 18 in download
link_to_vid = soup.find('video')['src']
TypeError: 'NoneType' object is not subscriptable
Мне кажетсячто эта ошибка происходит, потому что BeautifulSoup не может найти видео тег на веб-странице.Я попытался распечатать всю HTML-страницу, полученную от BeautifulSoup, и похоже, что она не получает всю веб-страницу, по крайней мере, не то, что я вижу в Chrome devtools.
Я получаю эту ошибку, потому что видео вложено глубоко в div?Почему BeautifulSoup не получает всю HTML-страницу?