Сканируйте Quora с помощью BeautifulSoup - PullRequest
Новая
       59

Сканируйте Quora с помощью BeautifulSoup

0 голосов
/ 04 августа 2020

Мой код для сканирования вопроса Quora следующий: 

import requests
from bs4 import BeautifulSoup
import pandas as pd

URL = "https://www.quora.com/What-is-the-best-workout-1"

page = requests.get(URL)

soup = BeautifulSoup(page.text, "html.parser")

print(soup.find_all("span", {"class": "q-box qu-userSelect--text"}))

Результат - пустой список.

Проблема в том, что page.text не содержит того же источника код, подобный тому, который я получаю, когда проверяю элемент на Quora.

Вместо этого он содержит следующий текст , который не включает никаких <span> элементов

Вот код, который я получаю при использовании Проверить элемент

1 Ответ

0 голосов
/ 04 августа 2020

Попробуйте: 

from selenium import webdriver
import time

driver = webdriver.Firefox(executable_path='c:/program/geckodriver.exe')

URL = "https://www.quora.com/What-is-the-best-workout-1"
driver.get(URL)



PAUSE_TIME = 2


lh = driver.execute_script("return document.body.scrollHeight")

while True:

    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(PAUSE_TIME)
    nh = driver.execute_script("return document.body.scrollHeight")
    if nh == lh:
        break
    lh = nh
spans = driver.find_elements_by_css_selector('span.q-box.qu-userSelect--text')
for span in spans:
    print(span.text)
    print('-' * 80)

распечатает: 

What is the best workout?
--------------------------------------------------------------------------------
The best workout is the one you don't skip.
Look, you can discuss sets and reps, crossfit and powerlifting, diet and supplements endlessly. And there is some value in it, if only just for entertainment sometimes (especially on the internet). But let's just get one thing straight here - if you are doing any kind of workout then it's going to have a greater impact than if you weren't. Simple as that.
Of course there are caveats. You don't want to get hurt, so they can pretty much all be summed up into one commandment: Thou shalt not be an idiot. Getting under a bar loaded with 495 lbs and squattin
--------------------------------------------------------------------------------

--------------------------------------------------------------------------------
What are some at-home workouts?
--------------------------------------------------------------------------------
Gyms are closed here because of the Coronavirus. What are your top 3 bodyweight exercises for building muscle?
--------------------------------------------------------------------------------
What is the best body weight workout routine?
--------------------------------------------------------------------------------

и так далее ...

Я не уверен, что q-box qu-userSelect--text вам действительно нужен. Но это было то, о чем вы просили ...

Примечание селен : вам нужно селен и geckodriver , и в этом коде geckodriver установлен на быть импортированным из c:/program/geckodriver.exe

...