Python - Самый простой способ очистить текст из списка URL, используя BeautifulSoup - PullRequest
Новая
       14

Python - Самый простой способ очистить текст из списка URL, используя BeautifulSoup

5 голосов
/ 16 марта 2011

Какой самый простой способ собрать только текст с нескольких веб-страниц (используя список URL-адресов) с помощью BeautifulSoup? Это вообще возможно?

Лучший, Джорджина

Ответы [ 3 ]

5 голосов
/ 16 марта 2011 
import urllib2
import BeautifulSoup
import re

Newlines = re.compile(r'[\r\n]\s+')

def getPageText(url):
    # given a url, get page content
    data = urllib2.urlopen(url).read()
    # parse as html structured document
    bs = BeautifulSoup.BeautifulSoup(data, convertEntities=BeautifulSoup.BeautifulSoup.HTML_ENTITIES)
    # kill javascript content
    for s in bs.findAll('script'):
        s.replaceWith('')
    # find body and extract text
    txt = bs.find('body').getText('\n')
    # remove multiple linebreaks and whitespace
    return Newlines.sub('\n', txt)

def main():
    urls = [
        'http://www.stackoverflow.com/questions/5331266/python-easiest-way-to-scrape-text-from-list-of-urls-using-beautifulsoup',
        '/5409526/kak-perepisat-rekursivnuy-funktsiy-chtoby-vmesto-nee-ispolzovat-tsikl'
    ]
    txt = [getPageText(url) for url in urls]

if __name__=="__main__":
    main()

Теперь он удаляет javascript и декодирует html-объекты.

1 голос
/ 17 марта 2011

Я знаю, что это не ответ на ваш точный вопрос (о BeautifulSoup), но хорошая идея - взглянуть на Scrapy , который, кажется, соответствует вашим потребностям.

1 голос
/ 16 марта 2011

Это вполне возможно. Самый простой способ - перебирать список URL-адресов, загружать контент, находить URL-адреса, добавлять их в основной список. Остановите итерацию, когда будет найдено достаточно страниц.

Просто несколько советов:

  • urllib2.urlopen для извлечения контента
  • BeautifulSoup: findAll ('a') для поиска URL
...