Я очищаю сайт рецензий на книги с BeautifulSoup, где есть 10 страниц рецензий с 30 рецензиями каждая.Я могу получить 8 страниц из 10, но страницы 4 и 6, похоже, возвращают пустые записи.
Вот простая демонстрация:
import pandas as pd
from pandas import Series,DataFrame
from bs4 import BeautifulSoup
import requests
import fnmatch
import os
url='https://www.goodreads.com/book/reviews/1202.Freakonomics?amp;page=4'
result = requests.get(url)
soup = BeautifulSoup(result.content, 'lxml')
soup.prettify()
Возвращает пустое значение.Тем не менее, замена 4 или 6 любой другой страницей из 1-10 вернет полностью очищенную страницу.
Я был бы признателен за любую помощь в том, что может происходить здесь.Спасибо