BeautifulSoup: Как извлечь все <li>из списка <ul>с несколькими вложенными <ul>с? - PullRequest
Новая
       11

BeautifulSoup: Как извлечь все <li>из списка <ul>с несколькими вложенными <ul>с?

22 голосов
/ 06 декабря 2010

Мой исходный код выглядит так: 

<h3>Header3 (Start here)</h3>
<ul>
    <li>List items</li>
    <li>Etc...</li>
</ul>
<h3>Header 3</h3>
<ul>
    <li>List items</li>
    <ul>
        <li>Nested list items</li>
        <li>Nested list items</li></ul>
    <li>List items</li>
</ul>
<h2>Header 2 (end here)</h2>

Мне бы хотелось, чтобы все теги "li" следовали за первым тегом "h3" и останавливались на следующем теге "h2", включая все вложенные теги li.

firstH3 = soup.find ('h3')

правильно находит место, которое я хотел бы начать. 

firstH3 = soup.find('h3') # Start here
uls = []
for nextSibling in firstH3.findNextSiblings():
    if nextSibling.name == 'h2':
        break
    if nextSibling.name == 'ul':
        uls.append(nextSibling)

даетмне список UL, каждый с содержанием LI, которое мне нужно.

ВЫДЕРЖКА СПИСКА "ULS": 

<ul>
...
    <li><i><a href="/wiki/Agent_Cody_Banks" title="Agent Cody Banks">Agent Cody Banks</a></i> (2003)</li>
    <li><i><a href="/wiki/Agent_Cody_Banks_2:_Destination_London" title="Agent Cody Banks 2: Destination London">Agent Cody Banks 2: Destination London</a></i> (2004)</li>
    <li>Air Bud series:
        <ul>
            <li><i><a href="/wiki/Air_Bud:_World_Pup" title="Air Bud: World Pup">Air Bud: World Pup</a></i> (2000)</li>
            <li><i><a href="/wiki/Air_Bud:_Seventh_Inning_Fetch" title="Air Bud: Seventh Inning Fetch">Air Bud: Seventh Inning Fetch</a></i> (2002)</li>
            <li><i><a href="/wiki/Air_Bud:_Spikes_Back" title="Air Bud: Spikes Back">Air Bud: Spikes Back</a></i> (2003)</li>
            <li><i><a href="/wiki/Air_Buddies" title="Air Buddies">Air Buddies</a></i> (2006)</li>
        </ul>
    </li>
    <li><i><a href="/wiki/Akeelah_and_the_Bee" title="Akeelah and the Bee">Akeelah and the Bee</a></i> (2006)</li>
...
</ul>

Но я не уверен, куда идти дальше.Я начинающий программист, пытаюсь перейти на Python, создав скрипт, который очищает http://en.wikipedia.org/wiki/2000s_in_film и извлекает список «Название фильма (год)».

Обновление:

Итоговый код: 

lis = []
    for ul in uls:
        for li in ul.findAll('li'):
            if li.find('ul'):
                break
            lis.append(li)

    for li in lis:
        print li.text.encode("utf-8")

Перерыв If -> выбрасывает LI, содержащие UL, поскольку вложенные LI теперь дублируются.

Печатьвывод: 1032 *

  • 102 далматинцев (2000)
  • 10th & Wolf (2006)
  • 11: 14 (2006)
  • 12: 08 к востоку от Бухареста (2006 г.)
  • 13 Продолжается 30 (2004 г.)
  • 1408 (2007)
  • ...

Спасибо

Ответы [ 2 ]

18 голосов
/ 06 декабря 2010

.findAll() работает для вложенных li элементов: 

for ul in uls:
    for li in ul.findAll('li'):
        print(li)

Вывод: 

<li>List items</li>
<li>Etc...</li>
<li>List items</li>
<li>Nested list items</li>
<li>Nested list items</li>
<li>List items</li>
9 голосов
/ 06 декабря 2010

Понимание списка тоже может сработать. 

lis = [li for ul in uls for li in ul.findAll('li')]
...