Получение URL каждого профиля, webscrape / python - PullRequest
Новая
       6

Получение URL каждого профиля, webscrape / python

0 голосов
/ 23 марта 2020

Я пытаюсь написать что-то, что будет просматривать каждую страницу и получать URL каждого профиля с этого сайта. https://www.justia.com/lawyers/california?page=2

def u_prof(state):
    urls=[]
    x= "https://www.justia.com/lawyers/"
    y= "?page"
    initial_search= x + state + y + "1"
    with requests_retry_session() as session:
        response = session.get(initial_search)
    soup = BeautifulSoup(response.content, "html.parser")


    return urls

Можете ли вы дать мне какое-то руководство? , Я знаю, что ссылка на каждый профиль находится внутри href, поэтому я должен что-то сделать с помощью soup.find ('href')? Заранее спасибо

...