Можно ли использовать Selenium / Python без появления видимого окна?Могу ли я использовать lxml с ним?

Question

Я ожидаю, что смогу сохранить страницу и затем использовать lxml.html.parse(), но мне было интересно, смогу ли я сделать это прямо с открытой страницы?

Я использую Ubuntu, если это имеет какое-либо значение.

Edit: есть метод для непосредственного использования xpath (find_element_by_xpath), поэтому я думаю, что мне не нужен lxml. Но для сохранения страницы все, что вам нужно сделать, это вызвать метод page_source.

Answer 1

Чтобы ответить на вопрос «используйте Selenium без появления видимого окна», да, вы можете легко использовать PyVirtualDisplay на Ubunutu.

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=0, size=(800, 600))
display.start()

# now Firefox will run in a virtual display. 
# you will not see the browser.
browser = webdriver.Firefox()
browser.get('http://www.google.com')
print browser.title
browser.quit()

display.stop()

Код взят из этого сообщения в блоге