Я пытаюсь удалить данные со следующего веб-сайта: https://marketchameleon.com/Reports/PremarketTrading?ref=premarket_tab
Всякий раз, когда я загружаю страницу в selenium Chrome page, она не загружает содержимое между следующими HTML и загружает только это:
<div id="premarket_container" style="min-height: 250px;">
</div>
Каждый раз, когда я обычно загружаю его в chrome, между этим тегом оказывается куча содержимого. Я также пробовал использовать urllib2 и запросы, но получил тот же результат.
Вот фрагмент моего кода:
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
try:
url = ('https://marketchameleon.com/Reports/PremarketTrading?ref=premarket_tab')
driver = webdriver.Chrome()
driver.get(url)
try:
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "most_active_tbl"))
)
finally:
driver.quit()
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
div = soup.find("div", {"id": "premarket_container"})
...
except Exception as e:
sys.stdout.write('Failed, exception: ', str(e))
Как мне заставить его загружать все содержимое между тегами выше?