Я провел некоторое исследование по этому вопросу в прошлом и в итоге реализовал этот подход [pdf] в Python. В последней версии, которую я реализовал, также была проведена некоторая очистка перед применением алгоритма, например, удаление элементов head / script / iframe, скрытых элементов и т. Д., Но это было ядром.
Вот функция с (очень) наивной реализацией дискриминатора «списка ссылок», который пытается удалить элементы с тяжелым соотношением ссылок и текста (т. Е. Панели навигации, меню, реклама и т. *
def link_list_discriminator(html, min_links=2, ratio=0.5):
"""Remove blocks with a high link to text ratio.
These are typically navigation elements.
Based on an algorithm described in:
http://www.psl.cs.columbia.edu/crunch/WWWJ.pdf
:param html: ElementTree object.
:param min_links: Minimum number of links inside an element
before considering a block for deletion.
:param ratio: Ratio of link text to all text before an element is considered
for deletion.
"""
def collapse(strings):
return u''.join(filter(None, (text.strip() for text in strings)))
# FIXME: This doesn't account for top-level text...
for el in html.xpath('//*'):
anchor_text = el.xpath('.//a//text()')
anchor_count = len(anchor_text)
anchor_text = collapse(anchor_text)
text = collapse(el.xpath('.//text()'))
anchors = float(len(anchor_text))
all = float(len(text))
if anchor_count > min_links and all and anchors / all > ratio:
el.drop_tree()
В тестовом корпусе, который я использовал, он действительно работал довольно хорошо, но для достижения высокой надежности потребуется немало доработок.