не может искать теги из Python, но может просматривать его в Chrome

Question

не может искать следующие теги внутри этого URL

class="iw_component" id="c1417094965155"

Я могу просмотреть его из браузера Chrome на рабочем столе, но не могу прочитать его при выполнении следующего сценария Python

import time
from selenium import webdriver
from pyvirtualdisplay import Display

display=Display(visible=0,size=(800,800))
display.start()

driver=webdriver.Firefox()
driver.get('url')
time.sleep(5)
title=driver.page_source
print title
driver.close()
display.stop()

Answer 1

Вы можете использовать имя класса для поиска элементов, используя find_elements_by_class_name:

divs = driver.find_elements_by_class_name("iw_component")
for div in divs:  # use a descriptive variable name
    html_id = div.get_attribute("id")
    ...

---

Также вместо time.sleep(5) для имитации / задержки Python, ожидающего, пока всеэлементы загружены, Явные ожидания можно использовать для ожидания определенных элементов:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

Для вас часть стратегии локатора будет выглядеть так:

presence_of_element_located((By.CLASS_NAME, "iw_component"))