BeautifulSoup не может получить доступ к содержимому тега <text> - PullRequest
Новая
       21

BeautifulSoup не может получить доступ к содержимому тега <text>

0 голосов
/ 29 августа 2018

Я использую BeautifulSoup (версия 4.4) для предварительной обработки текстового дампа Википедии с https://dumps.wikimedia.org/enwiki/ для дальнейшего анализа.

Документ textdump содержит несколько статей, каждая из которых содержится в теге <page>.

К сожалению, что-то в структуре документа кажется несовместимым с BeautifulSoup: внутри каждого <page> текст статьи содержится в блоке <text>: 

<text xml:space="preserve">...</text>

После того как я выбрал определенный блок <page>, я смогу получить доступ к содержимому текстового блока как page.text.string.

В BeautifulSoup .text раньше использовалось для зарезервированного содержимого тега в скобках. В более поздних версиях для этого используется .string.

К сожалению, похоже, что page.text по-прежнему интерпретируется так же, как page.string для обратной совместимости. (Изменить: getattr(page, "text") делает то же самое.)

Можно ли как-нибудь обойти это и получить доступ к тегу HTML с именем <text>?

(Редактировать: пример синтаксиса см. https://pastebin.com/WQvJn0gf.)

1 Ответ

0 голосов
/ 29 августа 2018

Использование .find и .text работает должным образом: 

from bs4 import BeautifulSoup

string = '''<mediawiki xmlns="http://www.mediawiki.org/xml/export-0.10/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.mediawiki.org/xml/export-0.10/ http://www.mediawiki.org/xml/export-0.10.xsd" version="0.10" xml:lang="en">
  <siteinfo>...</siteinfo>
  <page>
    <title>AccessibleComputing</title>
    <ns>0</ns>
    <id>10</id>
    <redirect title="Computer accessibility" />
    <revision>
      <id>854851586</id>
      <parentid>834079434</parentid>
      <timestamp>2018-08-14T06:47:24Z</timestamp>
      <contributor>
        <username>Godsy</username>
        <id>23257138</id>
      </contributor>
      <comment>remove from category for seeking instructions on rcats</comment>
      <model>wikitext</model>
      <format>text/x-wiki</format>
      <text xml:space="preserve">#REDIRECT [[Computer accessibility]]

{{R from move}}
{{R from CamelCase}}
{{R unprintworthy}}</text>
      <sha1>42l0cvblwtb4nnupxm6wo000d27t6kf</sha1>
    </revision>
  </page>
...
</mediawiki>'''

soup = BeautifulSoup(string, 'html.parser')   
page_tag = soup.find('page')
text_tag = page_tag.find('text')
print(text_tag.text)
# #REDIRECT [[Computer accessibility]]

# {{R from move}}
# {{R from CamelCase}}
# {{R unprintworthy}}
...