Установка таймаутов для разбора веб-страниц с использованием Python lxml

Question

Я использую библиотеку Python lxml для анализа html-страниц:

import lxml.html

# this might run indefinitely
page = lxml.html.parse('http://stackoverflow.com/')

Есть ли способ установить таймаут для разбора?

Answer 1

Похоже, что используется urllib.urlopen в качестве средства открывания, но самый простой способ сделать это - просто изменить время ожидания по умолчанию для обработчика сокета.

import socket
timeout = 10
socket.setdefaulttimeout(timeout)

Конечно, это быстрое и грязное решение.