Как очистить определенные страницы с неизменным URL с запросами - PullRequest
Новая
       15

Как очистить определенные страницы с неизменным URL с запросами

0 голосов
/ 20 февраля 2019

Я новичок в Python и совершенно не знаком с веб-утилизацией.В данный момент я пытаюсь почистить эту веб-страницу для образовательных целей: https://www.cdiscount.com/maison/achat-meuble-literie/dormipur-matelas-140x190-memoire-de-forme-16-c/f-11755-v920t140190.html#rating

Что я хочу, так это получить все комментарии на нескольких страницах.Поскольку URL не меняется, когда я нажимаю «précédent / suivant» (что означает предыдущий / следующий по-французски), я не знал, как это сделать.

См. Изображение по ссылке:

Я нашел это объяснение, чтобы решить ту же проблему: Как очистить несколько страниц с неизменным URL - Python 3

Я следовал инструкциям @Keyur Potdar, но не могу получить, например, текст второй страницы со следующим кодом.Это только дает мне текст первой страницы: 

import requests
from bs4 import BeautifulSoup

desc = {'productId': 'v920t140190',
'siteMapNodeId': 389,
'CurrentPage': 2,
'StarValueList':'',
'ReviewOrdering': 2,
}
r = requests.get('https://www.cdiscount.com/maison/achat-meuble-literie/dormipur-matelas-140x190-memoire-de-forme-16-c/f-11755-v920t140190.html#rating',params=desc)
soup = BeautifulSoup(r.text, 'html.parser')

tabinfos = []
for a in soup.find_all('p'):
    tabinfos.append(a)

for i in range(0,len(tabinfos)):
    print('Text :')
    print(tabinfos[i].text)

1 Ответ

0 голосов
/ 20 февраля 2019

Данные комментария к странице заполняются с помощью запроса ajax.Вы можете подражать тому же, используя запросы и получить данные.Вы можете использовать вкладку сети в инструменте проверки, чтобы узнать, какие запросы ajax выполняются.

Данные, которые вы получаете, представляют собой сам html, поэтому вам не нужно выполнять никакой дополнительной работы.Вы можете использовать тот же скрипт, который вы использовали в цикле, но с новым URL-адресом ajax. 

import requests
from bs4 import BeautifulSoup
no_of_pages=5
all_comments=[]
for page in range(1,no_of_pages+1):
    desc = {'productId': 'v920t140190',
    'siteMapNodeId': 389,
    'CurrentPage': page,
    'StarValueList':'',
    'ReviewOrdering': 2,
    }
    r = requests.get('https://www.cdiscount.com/RWDPSCustomerReviews.mvc/UpdatePagination',params=desc)
    soup = BeautifulSoup(r.text, 'html.parser')
    all_comments.extend([p.text.strip() for p in soup.find_all('p')])
for comment in all_comments:
    print(comment)

Вывод: 

ras bon produit bon rapport qualite prix  envoie rapide
Acheté pour lit de chambre d'amis. Excellent rapport qualité / prix. Perso, je le trouve un peu dur.
Très satisfaite du confort de ce matelas, j’en possède déjà un ce qui me pousse en commander un autre pour ma maman.
Article conforme à la description 
Couchage assez ferme / les tailles sont celles annoncées
Après 1 mois d'utilisation bon matelas s'adapte bien. Il est vrai qu'il est très dur au début. Depuis que je l'ai acheté je ne me leve plus la nuit pour aller au toilette je fait des nuit complete YOUPI, Je le recommande
Matelas agréable au coucher et toucher
Tout parfait comme descriptif
Je passe demain excellente nuits
très confortable après plusieurs mois d'utilisation, prend sa forme en deux jours
Matelas pour ma fille elle est très heureuse car elle dort bien.
Merci
très bon rapport qualité/prix. je recommande aux petits revenus!
Livre rapidement 
Le seul bémol l'odeur du plastique
Super. Très bon rapport qualité prix. A recommander.
Livré en mon absence, le jour convenu devant ma porte donc super à ce niveau . Odeur de neuf un peu désagréable mais pas non persistante, dans une pièce bien aérée elle s'en ira en moins de 2 jours. Un peur dur, neuf oblige, mais plutôt bien pour les dos fragiles.
Confortable, des soucis de dos et maintenant nous dormons parfaitement bien!
Je suis très satisfaite de mon achat c'est un très bon produit. Très bon rapport qualité prix. Je recommande
Livraison rapide et matelas très bien conditionné "sous vide". (matelat roulé, reprend vite sa forme).
Mon grand le trouve confortable, ferme mais juste ce qu'il faut.
Matelas très confort le seul problème que j' ai du mal avec c est si il as une odeur assez forte est ce que ça reste longtemps ou pas?sinon oui je le conseille
Juste un epaisseur de 2 cm qui est memoire forme sans compter la house qui est juste memoire de forme que d un des deux coter
Cela fait le deuxième que j'achète en deux mois dans le cadre de l'installation de mes enfants, ces matelas sont très bien, j'ai été très agréablement surpris. Ils ont aussi l'énorme avantage d'être avant leur ouverture très facilement transportables et rentrent parfaitement sur les sièges arrières d'une petite voiture.
Pour un matelas à mémoire de forme, je trouve qu’il est bien ferme mais me convient quand même. A une assez forte odeur au déballage mais qui part au bout d’une journée (laisser aérée). Rapport qualité/prix il est pas mal. A voir au fil du temps.
En pleine forme lors du réveil, et ce, pdt 2 semaines !
Je dors dessus depuis le mois de novembre et j'en suis très satisfaite il est confortable dur et moelleux en même temps ce qu'il faut pour le dos
dommage tres dure mais faut si habituer ,mais bonne qualité
Le matelas en lui même est bien. Le gros problème c'est l'odeur qu'il dégage . Je ne sais si cela provient du matelas ou de l'emballage mais c'est très désagréable. Malgré l'aération du matelas et de la chambre cela reste très prononcé.
le matelas et bien ferme, j'ai plus de mal au dos, je dort nickel dessus.
Conforme à ce que je m'attendais.Je recommande vivement.

Альтернативным вариантом будет использование селен для эмуляции нажатия кнопки «Далее».

...