Как получить текстовый элемент гиперссылки с веб-страницы, используя Python? - PullRequest
Новая
       27

Как получить текстовый элемент гиперссылки с веб-страницы, используя Python?

0 голосов
/ 07 декабря 2018

Я очищаю веб-данные и должен вернуть только текстовый элемент, связанный с гиперссылкой.Гиперссылка и текст неизвестны.Класс известен.Вот пример HTML: 

<div class="a-column SsCol" role = "gridcell">
    <h3 class="a-spacing-none SsName">
        <span class="a-size-medium a-text-bold">
            <a href="/gp/aag/main/ref=sm_name_2?ie=UTF8&ids=15112acd">Direct Name</a>
        </span>
    </h3>
</div>

В качестве альтернативы, желаемый текст может быть связан с изображением, а не с гиперссылкой: 

<div class="a-column SsCol" role = "gridcell">
    <h3 class="a-spacing-none SsName">
            <img alt="Direct Name" src="https://images-hosted.com//01x-j.gi">
    </h3>
</div>

Я попробовал метод ниже: 

from lxml import html
import requests
response = requests.get('https://www.exampleurl.com/')
doc = html.fromstring(response.content)
text1 = doc.xpath("//*[contains(@class, 'SsName')]/text()")

Я использую lxml вместо BeautifulSoup, но готов перейти, если это рекомендуется.Желаемый результат: 

print(text1)
['Direct Name']

Ответы [ 2 ]

0 голосов
/ 07 декабря 2018

//*[contains(@alt, '')]/@alt найти все теги, которые имеют элемент alt.В действительности этот xpath расширен от XPath Query: получить атрибут href из тега .И вы можете выбрать конкретный тег, как показал мой text2 

from lxml import html

text = """
<div class="a-column SsCol" role = "gridcell">
    <h3 class="a-spacing-none SsName">
        <span class="a-size-medium a-text-bold">
            <a href="/gp/aag/main/ref=sm_name_2?ie=UTF8&ids=15112acd">Direct Name</a>
        </span>
    </h3>
</div>
<div class="a-column SsCol2" role = "gridcell">
    <h3 class="a-spacing-none SsName">
            <img alt="Direct Name" src="https://images-hosted.com//01x-j.gi">
    </h3>
</div>

"""

doc = html.fromstring(text)
text1 = doc.xpath("//*[contains(@alt, '')]/@alt")
print(text1)
text2 = doc.xpath("//div[contains(@class, 'a-column SsCol2')]//*[contains(@alt, '')]/@alt")
print(text2)
0 голосов
/ 07 декабря 2018

Я бы определенно попробовал Beautiful Soup: 

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

Некоторые распространенные способы навигации по структуре 

soup.title
# <title>The Dormouse's story</title>

soup.title.name
# u'title'

soup.title.string
# u'The Dormouse's story'

soup.title.parent.name
# u'head'

soup.p
# <p class="title"><b>The Dormouse's story</b></p>

soup.p['class']
# u'title'

soup.a
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

soup.find_all('a')
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

soup.find(id="link3")
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

Одной из распространенных задач является извлечение всех URL-адресов, найденных на странице.теги: 

for link in soup.find_all('a'):
    print(link.get('href'))
# http://example.com/elsie
# http://example.com/lacie

Другая распространенная задача - извлечь весь текст со страницы: 

print(soup.get_text())
# The Dormouse's story
#
# The Dormouse's story
#
# Once upon a time there were three little sisters; and their names were
# Elsie,
# Lacie and...

Если вам нужно что-то еще, вы можете проверить их документацию: Beautiful Soup

...