Как извлечь ссылки с веб-страницы, используя lxml, XPath и Python? - PullRequest
Новая
       40

Как извлечь ссылки с веб-страницы, используя lxml, XPath и Python?

5 голосов
/ 18 января 2010

У меня есть запрос xpath: 

/html/body//tbody/tr[*]/td[*]/a[@title]/@href

Извлекает все ссылки с атрибутом title - и дает href в дополнении проверки Xpath FireFox .

Однако я не могу использовать его с lxml. 

from lxml import etree
parsedPage = etree.HTML(page) # Create parse tree from valid page.

# Xpath query
hyperlinks = parsedPage.xpath("/html/body//tbody/tr[*]/td[*]/a[@title]/@href") 
for x in hyperlinks:
    print x # Print links in <a> tags, containing the title attribute

Это не дает результата от lxml (пустой список).

Как бы получить href текст (ссылку) гиперссылки, содержащей заголовок атрибута с lxml в Python?

Ответы [ 2 ]

10 голосов
/ 18 января 2010

Мне удалось заставить его работать со следующим кодом: 

from lxml import html, etree
from StringIO import StringIO

html_string = '''<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
   "http://www.w3.org/TR/html4/loose.dtd">

<html lang="en">
<head/>
<body>
    <table border="1">
      <tbody>
        <tr>
          <td><a href="http://stackoverflow.com/foobar" title="Foobar">A link</a></td>
        </tr>
        <tr>
          <td><a href="http://stackoverflow.com/baz" title="Baz">Another link</a></td>
        </tr>
      </tbody>
    </table>
</body>
</html>'''

tree = etree.parse(StringIO(html_string))
print tree.xpath('/html/body//tbody/tr/td/a[@title]/@href')

>>> ['http://stackoverflow.com/foobar', 'http://stackoverflow.com/baz']
3 голосов
/ 06 декабря 2011

Firefox добавляет дополнительные html-теги к html при его рендеринге, что делает xpath, возвращаемый инструментом firebug, несовместимым с фактическим html, возвращаемым сервером (и тем, что возвращает urllib / 2).

Удаление тега <tbody> обычно делает свое дело.

...