У меня есть веб-скребок, использующий селен.
У меня есть пара сотен тысяч ссылок, с которых мой веб-скребок настроен для открытия и извлечения определенных данных. Однако по некоторым ссылкам данных нет. В этих случаях мой веб-скребок довольно долго пытается найти данные, затем он сдается и переходит к следующему.
Я хочу иметь возможность сократить период времени, который он ищет, прежде чем перейти к следующей итерации.
Вот мой код.
for i in links:
try:
driver.get(i)
locater = ('//tr[@data-bid="18"]'+'//span[@class="table-main__detail-odds--hasarchive"]')
pin = driver.find_elements_by_xpath(locater)
match = driver.find_elements_by_xpath('//span[@class="list-breadcrumb__item__in"]')[0].text
date = driver.find_elements_by_xpath('//p[@class="list-details__item__date"]')[0].text
score = driver.find_elements_by_xpath('//p[@class="list-details__item__score"]')[0].text
except:
pass
for i in pin:
try:
i.click()
time.sleep(3)
f = driver.find_elements_by_xpath('//td[@class="bold"]')
d = driver.find_elements_by_xpath('//td[@class="date"]')
with open("t14.csv","a") as r:
r.write("\n")
r.write(match + "," + date + "," + score + ",")
for i in d:
b = i.text
for i in f:
a = i.text
with open("t14.csv","a") as r:
r.write(a + "," + b + ",")
except:
pass