BeautifulSoup: Почему он не находит все фреймы?

Question

Я довольно новичок в BeautifulSoup и пытаюсь выяснить, почему он не работает так, как ожидалось.

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.globes.co.il/news/article.aspx?did=1001285710")
bsObj = BeautifulSoup(html.read(), features="html.parser")
print(bsObj.find_all('iframe'))

Я получаю список только из двух фреймов.Однако, когда я открываю эту страницу в браузере и набираю:

document.getElementsByTagName("iframe")

в dev-tools, я получаю список из 14 элементов.

Не могли бы вы мне помочь?

Answer 1

Это потому, что этот сайт динамически добавляет больше фреймов после загрузки страницы. Кроме того, содержимое iframe загружается браузером динамически и также не будет загружаться через urlopen. Возможно, вам придется использовать Selenium, чтобы разрешить JavaScript загружать дополнительные iframe, а затем, возможно, придется искать iframe и загружать контент через src url.