Как ускорить этот процесс очистки веб-страниц JavaScript?

Question

Эта функция python предназначена для удаления определенного идентификатора (называемого PMID) с веб-страницы JavaScript.Когда URL передается функции, он получает страницу с использованием селена.Затем код пытается найти класс «pubmedLink» в теге html.Если он найден, он возвращает извлеченный PMID другой функции.

Это отлично работает, но буквально очень медленно.Есть ли способ ускорить процесс, возможно, с помощью другого парсера или с совершенно другим методом?

from selenium import webdriver


def _getPMIDfromURL_(url):

    driver = webdriver.Chrome('/usr/protoLivingSystematicReviews/drivers/chromedriver')
    driver.get(url)

    try:
        if driver.find_element_by_css_selector('a.pubmedLink').is_displayed():
            json_text = driver.find_element_by_css_selector('a.pubmedLink').text
            return json_text
    except:
        return "no_pmid"

    driver.quit()

Примеры URL для веб-страницы JS,

• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L617434973
• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L617388849
• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L46141767

Answer 1

Ну, селен быстрый, поэтому любимый у многих тестеров.С другой стороны, вы можете улучшить свой код, проанализировав содержимое один раз вместо двух.

Возвращаемое значение оператора

 driver.find_element_by_css_selector('a.pubmedLink')

может храниться в переменной и использовать эту переменную.Это улучшит вашу скорость примерно в 1,5 раза.

try:
    elem =driver.find_element_by_css_selector('a.pubmedLink')
    if  elem.is_displayed():
        return elem.text
except:
    return "no_pmid

Answer 2

Вы можете попробовать фантомы, это быстрее: https://realpython.com/headless-selenium-testing-with-python-and-phantomjs/