Beautifulsoup find_all недостающие предметы - PullRequest
0 голосов
/ 28 марта 2020

Я проверил response.text, сохранив его в файл, и все хорошо. Я могу видеть span id = 'productTitle'. Когда я пытаюсь фильтровать как в коде ниже, я получаю пустую строку. Я пытался фильтровать только по 'span' и по какой-то причине я получаю только частичный результат (название продукта отсутствует).

headers = {
       'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:74.0) Gecko/20100101 Firefox/74.0',
       'Accept':'*/*',
       'Cache-Control':'no-cache',
       'Accept-Encoding':'gzip, deflate, br',
       'Connection':'keep-alive'
   }
r = requests.get(product_url, headers = headers)
soup = BeautifulSoup(r.text, 'html.parser')
results = soup.find_all('span')
print(results)

1 Ответ

0 голосов
/ 28 марта 2020

Без кода HTML трудно воспроизвести проблему и дать полный ответ.

попробуйте заменить 'html.parser' на 'lxml'

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...