Не могу сканировать сайт

Question

Я хочу сканировать, но у меня есть некоторые проблемы, мне нужно открыть каждую ссылку товара и получить информацию о ней и сохранить ее в .html каждый товар на странице, пока я могу печатать только все ссылки настраница

from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq
import requests
import urllib3
import ssl
from requests import request

urllib3.disable_warnings()

try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
        pass
else:
    ssl._create_default_https_context = _create_unverified_https_context

PYTHONHTTPSVERIFY=0
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
headers = {'User-Agent': user_agent}
t = request('GET', url=my_url, headers=headers, verify=False).text
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")

containers = page_soup.findAll("div", {"class": 'product'})

filename = "web.html"
f= open(filename, "w")

for containers in page_soup.findAll('div', attrs={'class': 'product'}):
    f.write(containers.a['href'] + '\n')
f.close()

Answer 1

Вы, похоже, пытаетесь получить список URL-адресов из первого URL-адреса, а затем хотите получить некоторую информацию из каждого из этих URL-адресов.Для этого необходимо сделать запрос для каждого URL-адреса и для каждого из них необходим отдельный анализ BeautifulSoup.

После того, как у вас есть подстраница, можно извлечь информацию, например, название продукта иего цена.

Наконец, вы можете либо распечатать эту информацию, либо записать ее в файл.Самый простой способ - записать его в виде файла CSV.В этом примере я покажу, как можно написать URL-адрес, имя и цену в виде одной строки.Библиотека CSV автоматически форматирует правильно:

from urllib3.exceptions import InsecureRequestWarning
from bs4 import BeautifulSoup
import requests
import csv

requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)
my_url = 'https://franke-market.com.ua/moyki.html?on_page=100'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'}
req = requests.get(my_url, headers=headers, verify=False)
soup = BeautifulSoup(req.content, "html.parser")

with open("products.csv", "w", newline="") as f_output:
    csv_output = csv.writer(f_output)
    csv_output.writerow(['URL', 'Title', 'Price'])

    # Find the URLs for all the products
    for div in soup.find_all('div', attrs={'class': 'product'})[:5]:
        url = div.a['href']
        print(url)

        # For each URL, get the sub page and get the name and price
        req_sub = requests.get(url, headers=headers, verify=False)
        soup_sub = BeautifulSoup(req_sub.content, "html.parser")        
        title = soup_sub.find('h1', class_='title').text
        price_info = soup_sub.find('div', class_='price_info').span.text

        # Write the url, name and price as a CSV file
        csv_output.writerow([url, title, price_info])

Предоставление вам и output.csv запуск файла:

URL,Title,Price
https://franke-market.com.ua/franke_rol_610-38_101_0267_707_.html,Franke ROL 610-38 (101.0267.707),91795
https://franke-market.com.ua/franke-pmn-611i-101.0255.790.html,Franke Pamira PMN 611i (101.0255.790),57935
https://franke-market.com.ua/franke_pxl_611-60_101_0330_655_.html,Franke PXL 611-60 (101.0330.655),93222
https://franke-market.com.ua/franke-ron-610-41-101.0255.783.html,Franke Ron 610-41 (101.0255.783),57939
https://franke-market.com.ua/franke_pxl_611-78_101_0330_657_.html,Franke PXL 611-78 (101.0330.657),93223

Затем вы можете открыть этот файл в приложении для работы с электронными таблицами.