У меня возникла постоянная проблема во время веб-обработки получения пустой строки вместо ожидаемых результатов (основываясь на html страницы проверки).
Моя конкретная цель - получить ссылку на первые 10 клипов отhttps://www.twitch.tv/directory/game/Overwatch/clips?range=7d.
Вот мой код:
# Gathers links of clips to download later
import bs4
import requests
from selenium import webdriver
from pprint import pprint
import time
from selenium.webdriver.common.keys import Keys
# Get links of multiple clips by webscraping main_url
main_url = 'https://www.twitch.tv/directory/game/Overwatch/clips?range=7d'
driver = webdriver.Firefox()
driver.get(main_url)
time.sleep(10)
elements_found = driver.find_elements_by_class_name("tw-interactive tw-link tw-link--hover-underline-none tw-link--inherit")
print(elements_found)
driver.quit()
Так я определился с именем класса
Страница используетJavascript, и именно поэтому я использую Selenium вместо модуля Requests (который я пытался, но безуспешно).
Я добавил time.sleep (10), чтобы у меня было время прокручивать веб-страницу. активировать java-скрипт, но безрезультатно.
Я также пытался изменить user-agent и использовать XPath, но ни один из них не дал других результатов.
Независимо от того, что я делаю, этоКажется, что программа смотрит только на необработанный HTML-код, который можно найти, щелкнув правой кнопкой мыши -> проверить исходный код страницы.
Любая помощь и указатели будут высоко оценены, я полностью застрял в этой проблеме. У меня были эти проблемы во всех проектах «Глава 11: Webscraping» от Automate the Boring Stuff, и в моих личных проектах.