Поиск аудио и текста между двумя <td>тегами Python BeautifulSoup - PullRequest
Новая
       19

Поиск аудио и текста между двумя <td>тегами Python BeautifulSoup

2 голосов
/ 17 июня 2019

Я работаю с этим сайтом http://www.nemoapps.com/phrasebooks/hebrew.

И для каждого элемента td, например, я хотел бы получить первый аудиофайл mp3 /audio/mp3/HEBFND1_1395.mp3, а затем получить текст на иврите <strong>שרה שרה שיר שמח, שיר שמח שרה שרה</strong> и произношение <strong>Sara shara shir sameaĥ, shir sameaĥ shara sara</strong>

Следующий код выполняет то, что я пытаюсь получить, но не совсем там. 

<source src="/audio/ogg/HEBFND1_1395.ogg" type="audio/ogg">
</source></source>
[]
[<div class="target1" lang="he"><strong>\u05e9\u05e8\u05d4 \u05e9\u05e8\u05d4 \u05e9\u05d9\u05e8 \u05e9\u05de\u05d7, \u05e9\u05d9\u05e8 \u05e9\u05de\u05d7 \u05e9\u05e8\u05d4 \u05e9\u05e8\u05d4</strong></div>, <div class="target2" lang="he-Latn"><strong>Sara shara shir samea\u0125, shir samea\u0125 shara sara</strong></div>, <div class="translation">Tongue Twister: Sara sings a happy song, a happy song Sara is singing</div>]

Это пример вывода, который я получаю. Но мне нужно войти в source и <div><strong>, чтобы получить информацию, которую я хочу.

Ниже приведен код, который я использовал. 

from bs4 import BeautifulSoup
import re
import urllib

_url = "http://www.nemoapps.com/phrasebooks/hebrew"
soup = BeautifulSoup(urllib.urlopen(_url), features="lxml")
_trs = soup.find_all('tr')
for tr in _trs:
    cells = tr.find_all('td', recursive=False)
    for cell in cells:
        audio = cell.find_all('audio')
        div = cell.find_all('div')
        for a in audio:
            source = a.find_all('source', type='audio/mpeg')
            for s in source:
                print(s)
        print(div)
    print("++++++++")

Пожалуйста, дайте мне знать, если есть какой-либо другой эффективный способ сделать это. Спасибо,

1 Ответ

1 голос
/ 17 июня 2019

Лично я считаю BeautifulSoup сложным в использовании и византийским, особенно когда дело доходит до поиска элементов по чему-либо, кроме самых простых правил.

Модуль lxml хорошо работает с источниками HTML и предлагает поддержку XPath, что означает, что поиск элементов намного проще и намного более гибок.

Я также предпочитаю использовать модуль requests вместо очень чистого urllib. 

import requests
from lxml import etree

resp = requests.get("http://www.nemoapps.com/phrasebooks/hebrew")

htmlparser = etree.HTMLParser()
tree = etree.fromstring(resp.text, htmlparser)

for tr in tree.xpath('.//table[@class="nemocards"]/tr'):
    data = {
        'source': tr.xpath('string(.//source[@type="audio/mpeg"]/@src)'),
        'hebrew': tr.xpath('normalize-space(.//div[@lang="he"])'),
        'latin': tr.xpath('normalize-space(.//div[@lang="he-Latn"])'),
        'translation': tr.xpath('normalize-space(.//div[@class="translation"])'),
    }
    print(data)

Примечания:

  • string() - это функция XPath, которая получает текстовое содержимое узла (не имеет значения, является ли это узлом атрибута или узлом элемента).
  • normalize-space() делает то же самое, но дополнительно устраняет лишние пробелы.
  • При вызове без такого преобразования строки (например, как tr.xpath('.//div[@lang="he"]')) вы получите (возможно, пустой) список совпадающих элементов. Так как ваша цель - извлечь текстовое содержимое элемента, а эту задачу труднее выполнить в Код Python, сразу использующий строковые функции XPath, делает вашу жизнь намного проще - они просто вернут (возможно, пустую) строку.
  • .//table[@class="nemocards"] будет соответствовать только тогда, когда атрибут класса таблицы точно"немокард". Для частичных совпадений можно использовать что-то вроде .//table[contains(@class, "nemocards")].

Вывод выглядит так: 

{'source': '/audio/mp3/HEBFND1_0001.mp3', 'hebrew': 'שלום', 'latin': 'Shalom', 'translation': 'Hello'}
...