Я не могу получить элементы в списке с веб-страницы, используя BeautifulSoup - PullRequest
Новая
       14

Я не могу получить элементы в списке с веб-страницы, используя BeautifulSoup

0 голосов
/ 29 февраля 2012

Я недавно читал документацию BeautifulSoup, чтобы узнать, как разбирать веб-сайт.Так что это очень ново для меня.Может кто-нибудь сказать мне, почему я не могу получить Последние заголовки, перечисленные на веб-сайте (http://www.news -record.com)?

Вот код: 

import urllib2
import BeautifulSoup


page = urllib2.urlopen("http://www.news-record.com/")

soup = BeautifulSoup.BeautifulSoup(page)



headlines = []



headline = soup.find('a', ({"class" : "nrcTxt_headline"}))
while headline:
    url = headline.findParent('div')['id']
    headlines.append([url, headline.string])
    headline = headline.findNext('span', {'class' : "nrcTxt_headline"})


print soup.headline

Вотраздел на интересующем веб-сайте: 

<div class="nrcNav_menu">
   <ul>
    <li class="nrcTxt_menu1 nrcBlk_comboModTab nrc_default nrc_active">
     <a href="#nrcMod_FP_Breaking">
      Latest Headlines
     </a>
    </li>
    <li class="nrcTxt_menu2 nrcBlk_comboModTab nrc_itemLast">
     <a href="#nrcMod_FP_MostRead">
      Most Read
     </a>
    </li>
   </ul>
  </div>
  <div id="nrcMod_FP_Breaking" class="nrcBlk_comboModPage nrc_default nrc_active">
   <h4 class="nrcTxt_modHed">
    <span class="nrcTxt_label">
     Latest Headlines
    </span>
   </h4>
   <ul class="nrcBlk_artList">
    <li class="nrcBlk_artHedOnly nrcBlk_art nrcBlk_art4">
     <a class="nrcTxt_headline" href="/content/2012/02/28/article/city_hosts_earth_day_recycling_contest">
      City hosts Earth Day recycling contest
     </a>
     <span class="nrcBlk_pubdate">
      <span class="nrc_sep">
       (
      </span>
      <!-- COLLAPSE WHITESPACE

                                -->
      <span class="nrc_val">
       3:53 pm
      </span>
      <!-- COLLAPSE WHITESPACE

                                -->
      <span class="nrc_sep">
       )
      </span>
     </span>
    </li>
    <li class="nrcBlk_artHedOnly nrcBlk_art nrcBlk_art5">
     <a class="nrcTxt_headline" href="/content/2012/02/28/article/got_bull_rockingham_deputies_seek_900_pound_beast">
      Got bull? Rockingham deputies seek 900-pound beast
     </a>

Код ниже в основном делает то, что я хочу.Но текст в скобках таков: 

[u'Daily Deal: strength coaching sessions ']
[u'Teen dating safety tips']
[u'Splitting up the family']

Если я удаляю скобку в своем коде, я получаю сообщение об ошибке: 

import urllib2
import BeautifulSoup






site = "http://www.news-record.com/"

page = urllib2.urlopen("http://www.news-record.com/")
soup = BeautifulSoup.BeautifulSoup(page)

headlines = []


for headline in soup.findAll('a', {"class" : "nrcTxt_headline"}):
    url = headline.findParent('div', {"class":"nrcNav_menu"})
    print ([headline.string])

Ответы [ 2 ]

0 голосов
/ 29 февраля 2012

Вы заключаете аргумент поиска в кортеж и не используете генератор так, как могли бы.

soup.find('a', ({"class" : "nrcTxt_headline"}))

Вы хотите

soup.find('a', {"class" : "nrcTxt_headline"})

Пример: 

for headline in soup.find('a', {"class" : "nrcTxt_headline"}):
    url = headline.findParent('div')['id']
    headlines.append([url, headline.string])
0 голосов
/ 29 февраля 2012

Попробуйте следующий код: 

import urllib2
import BeautifulSoup

site = "http://www.news-record.com/"

page = urllib2.urlopen("http://www.news-record.com/")
soup = BeautifulSoup.BeautifulSoup(page)

headlines = []

headlineList = soup.findAll('a', {"class" : "nrcTxt_headline"})
for headline in headlineList:
    headlines.append(site+str(headline.get('href')))

print headlines
...