Соскоб в Интернете с помощью lxml для разногласий, как мне получить ссылки на текст и фото? - PullRequest
Новая
       22

Соскоб в Интернете с помощью lxml для разногласий, как мне получить ссылки на текст и фото?

1 голос
/ 03 апреля 2019

Я использую lxml для извлечения продуктов из группы розничных продавцов и отправки информации на дискорд-сервер.У меня есть большая часть этого, кроме очистки ссылки (для изображения и т. Д .: https://i5.walmartimages.com/asr/b05aca03-968b-4e43-8b48-781aa52ef3e0_1.7fa663da8e1c382271e6649007e9a60b.png?odnHeight=450&odnWidth=450&odnBg=FFFFFF)

и текста, чтобы получить наименование и цену товара.

вот изображение того, чтоembho discord webhook будет выглядеть так:

Продукт, который я пытаюсь очистить: https://www.walmart.com/ip/POP/295232252

пример элемента, из которого я пытаюсь извлечь изображение: (src =)

<img class="hover-zoom-hero-image" src="https://i5.walmartimages.com/asr/b05aca03-968b-4e43-8b48-781aa52ef3e0_1.7fa663da8e1c382271e6649007e9a60b.png?odnHeight=450&amp;odnWidth=450&amp;odnBg=FFFFFF" alt="Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin">

пример элемента, из которого я пытаюсь получить текст из: (content =)

<h1 class="prod-ProductTitle no-margin font-normal heading-a" itemprop="name" content="Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin"><div>Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin</div></h1>

Мой код: 

def send_embed(link):
embed = Embed(
description=link,
color=color_embed,
timestamp='now' # sets the timestamp to current time
)
image1 = 'https://www.blakleysflooring.com/wp-content/uploads/2016/03/Placeholder.png'
image2 = pic

embed.set_author(name=itemName + "|" + price, url=link)
embed.add_field(name='Retailer', value=site)
embed.add_field(name='Stock', value=instock)
embed.set_footer(text='@QuantumPings')

embed.set_thumbnail(image2)
hook.send(embed=embed)


def getDatetime():
return '[{}]'.format(str(datetime.datetime.now())[:-3])


def monitor(link):
global embed
global itemName
global pic
global site
global instock
global price
global color_embed
try:
with session as s:
r = s.get(link, timeout=10)
r.raise_for_status()

tree = etree.HTML(r.content)
if 'walmart' in link:
oos = False if tree.xpath('//span[@class="button-wrapper"]') else True
site = 'Walmart'
instock = False if tree.xpath('/html/body/div[2]/div/div/div[2]/div/div[1]/div/div[1]/div/div/div/div/div[3]/div[4]/div[2]/div[1]/div/div/div/div[4]/div/div/div[2]/div/div/div/span') else False
pic = ()
itemName = tree.xpath('//div[@class="ProductTitle"]/h2/div/text()')
price = '$0.00'
color_embed = 0x00f714 if instock is True else 0xff0008
 True else 0xff0008

1 Ответ

1 голос
/ 03 апреля 2019

Вот базовый пример того, как использовать lxml для сбора текста / ссылок.С lxml вы можете сделать что угодно, так что экспериментируйте.И на заметку, я думаю, lxml быстрее, чем BeautifulSoup, но это не так элегантно.Я бы также перечитал https://lxml.de/lxmlhtml.html

from lxml import html

response = """
<h1 class="prod-ProductTitle no-margin font-normal heading-a" itemprop="name" content="Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin"><div>Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin</div></h1>
<img class="hover-zoom-hero-image" src="https://i5.walmartimages.com/asr/b05aca03-968b-4e43-8b48-781aa52ef3e0_1.7fa663da8e1c382271e6649007e9a60b.png?odnHeight=450&amp;odnWidth=450&amp;odnBg=FFFFFF" alt="Funko POP! Marvel: Avengers Endgame -&nbsp;Ronin">
"""

tree = html.fromstring(response)

title = [e for e in tree.cssselect('h1') if e.get('itemprop') is not None and e.get('itemprop') == 'name']
title = title[0]
title = title.text_content()
print (title)

img = tree.cssselect('img.hover-zoom-hero-image')
img = img[0]
img = img.get('src')
print (img)
...