Я делаю скребок для Python для проекта. Мне нужно почистить некоторые данные с сайта Doctor Review.
У меня есть код, работающий для получения имени, специализации и количества отзывов, но мне нужно ввести каждый из их профилей, чтобы получить номер телефона и адрес, я не знаю, как мне это сделать, нужно ли мне отдельно функция, чтобы сделать это, или я могу сделать это с этим?
Любая помощь мне очень поможет.
import requests
from bs4 import BeautifulSoup
base_url = "https://www.ratemds.com/best-doctors/?page=1"
for page in range(1, 5, 1):
r = requests.get(base_url)
c = r.content
soup = BeautifulSoup(c, 'html.parser')
all = soup.find_all("div", {"class": "search-item doctor-profile"})
for item in all:
try:
print(item.find("a", {"class": "search-item-doctor-link"}).text)
except:
pass
try:
print(item.find("a", {"class": None}).text)
except:
pass