невозможно открыть раскрывающийся список Webscrap [Python] [beautifulsoup] - PullRequest
Новая
       13

невозможно открыть раскрывающийся список Webscrap [Python] [beautifulsoup]

1 голос
/ 05 августа 2020

Я новичок в веб-сканировании, я сканирую веб-сайт - https://www.valueresearchonline.com/funds/22/uti-mastershare-fund-regular-plan/

Здесь я хочу очистить этот текст - Обычный план введите описание изображения здесь

Но дело в том, что когда я делаю это с помощью элемента проверки, код - 

import requests
from bs4 import BeautifulSoup
import csv
import sys

url = 'https://www.valueresearchonline.com/funds/newsnapshot.asp?schemecode=22'
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
regular_direct = soup.find('span',class_="filter-option pull-left").text

print(regular_direct)

я не получаю ничего при печати, и я не знаю почему, код в Элемент inspect и источник страницы просмотра также различаются, потому что в источнике страницы просмотра этот диапазон и класс отсутствуют. почему я ничего не получаю ?? кто-нибудь может сказать мне, как я могу получить этот текст и почему проверка кода элемента и исходного кода страницы просмотра различаются?

1 Ответ

2 голосов
/ 05 августа 2020

Вам необходимо изменить селектор, потому что загружаемый источник html отличается. 

import requests
from bs4 import BeautifulSoup
import csv
import sys

url = 'https://www.valueresearchonline.com/funds/newsnapshot.asp?schemecode=22'
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
regular_direct = soup.find("select", {"id":"select-plan"}).find("option",{"selected":"selected"}).get_text(strip=True)

print(regular_direct)

Вывод: 

Regular plan
...