Как мне установить период времени "попробовать" для моего веб-мастера? - PullRequest
0 голосов
/ 15 марта 2019

У меня есть веб-скребок, использующий селен.

У меня есть пара сотен тысяч ссылок, с которых мой веб-скребок настроен для открытия и извлечения определенных данных. Однако по некоторым ссылкам данных нет. В этих случаях мой веб-скребок довольно долго пытается найти данные, затем он сдается и переходит к следующему. Я хочу иметь возможность сократить период времени, который он ищет, прежде чем перейти к следующей итерации. Вот мой код.

for i in links:
try:

    driver.get(i)
    locater = ('//tr[@data-bid="18"]'+'//span[@class="table-main__detail-odds--hasarchive"]')
    pin = driver.find_elements_by_xpath(locater)
    match = driver.find_elements_by_xpath('//span[@class="list-breadcrumb__item__in"]')[0].text
    date = driver.find_elements_by_xpath('//p[@class="list-details__item__date"]')[0].text
    score = driver.find_elements_by_xpath('//p[@class="list-details__item__score"]')[0].text
except:
    pass


    for i in pin:
        try:
            i.click()
            time.sleep(3)
            f = driver.find_elements_by_xpath('//td[@class="bold"]')
            d = driver.find_elements_by_xpath('//td[@class="date"]')
            with open("t14.csv","a") as r:
                r.write("\n")
                r.write(match + "," + date + "," + score + ",")
            for i in d:
                b = i.text
                for i in f:
                    a = i.text
                    with open("t14.csv","a") as r:
                        r.write(a + "," + b + ",")

        except:
            pass
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...