Веб-сайт не будет загружать весь контент в селене, используя python - PullRequest
0 голосов
/ 28 мая 2020

Я пытаюсь удалить данные со следующего веб-сайта: https://marketchameleon.com/Reports/PremarketTrading?ref=premarket_tab

Всякий раз, когда я загружаю страницу в selenium Chrome page, она не загружает содержимое между следующими HTML и загружает только это:

<div id="premarket_container" style="min-height: 250px;">
</div>

Каждый раз, когда я обычно загружаю его в chrome, между этим тегом оказывается куча содержимого. Я также пробовал использовать urllib2 и запросы, но получил тот же результат.

Вот фрагмент моего кода:

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

try:
    url = ('https://marketchameleon.com/Reports/PremarketTrading?ref=premarket_tab')
    driver = webdriver.Chrome()
    driver.get(url)

    try:
        element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "most_active_tbl"))
    )
    finally:
        driver.quit()
    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')
    div = soup.find("div", {"id": "premarket_container"})

    ...

except Exception as e:
    sys.stdout.write('Failed, exception: ', str(e))

Как мне заставить его загружать все содержимое между тегами выше?

...