BS4 & Python - Скребок перестал работать, не могу понять, почему - PullRequest
0 голосов
/ 11 октября 2019

Я чищу эти ссылки:

https://stockx.com/adidas-eqt-running-support-93-big-apple-bait

https://www.stockx.com/air-jordan-1-mid-team-orange-black

Используя этот код, я смог получить названия обуви на предыдущемВыполнения.

import requests
import re
import csv
import io
import os
import time
from datetime import datetime
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36'}

urls = ['https://www.stockx.com/adidas-eqt-running-support-93-big-apple-bait',
        'https://www.stockx.com/air-jordan-1-mid-team-orange-black']

session = requests.Session()

timeanddate=datetime.now().strftime("%Y%m%d-%H%M%S")

folder_path = <folder path here>
file_name = 'test_'+timeanddate+'.csv'
full_name = os.path.join(folder_path, file_name)

with io.open(full_name, 'w', newline='', encoding="utf-8") as file:
    writer = csv.writer(file)
    writer.writerow(["Title"])

    for url in urls:

        pageTree2 = session.get(url, headers=headers)
        pageSoup2 = BeautifulSoup(pageTree2.content, 'html.parser')



        title = pageSoup2.find('h1', attrs={'class': 'name'}).text.strip()


        print(title)
        writer.writerow([title])
    file.close()

Когда я пытался запустить его сегодня, он всегда возвращал AttributeError: 'NoneType' object has no attribute 'text', указывая, что он больше не может найти заголовок, однако, когда я посещаю страницу, чтобы увидеть, есть ли какие-либо изменениявнесено в макет сайта, я не могу найти, и моя программа все еще должна работать.

Кто-нибудь знает, почему он перестал работать сегодня?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...