Скребок не извлекает ссылку:

Question

Привет. Я пытаюсь очистить URL-адрес Amazon на этом сайте, указанном в разделе «Просмотреть элемент на Amazon».

Мой код указан ниже, я получаю нулевой ответ.Ценю любую помощь.Спасибо

import requests
url = "https://app.jumpsend.com/deals/230513"

response = requests.get(url)
data = response.text

soup = BeautifulSoup(data, 'lxml')

tags = soup.find_all('a')

for tag in tags:
    print(tag.get('href'))

Answer 1

Ссылка Amazon (https://www.amazon.com/dp/B07MH9DK5B) отсутствует в источнике html-страницы. Вам необходимо использовать Selenium для считывания html всех элементов, которые установлены скриптом Java:

from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://app.jumpsend.com/deals/230513"
driver = webdriver.Firefox()
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
soup.find('a', attrs={'class': 'deal-modal-link'})['href']

Приведенный выше код распечатывает ссылку Amazon:

'https://www.amazon.com/dp/B07MH9DK5B'