Я хочу очистить все деловые ссылки с этой страницы - PullRequest
0 голосов
/ 05 марта 2020

Я хочу извлечь все ссылки (не названия) компаний. Пожалуйста, ведите меня! Спасибо! вот URL веб-страницы: https://hipages.com.au/find/antenna_services/nsw/sydney

вот мой код:

import requests
from bs4 import BeautifulSoup
import re

def get_index_data(soup):
    try:
        links = soup.find_all('a', {'class': 'sc-bZQynM sc-iwsKbI dpKmnV'}).get('href')
    except:
        links = []
    print(links)
def Main():
    r = requests.get("https://hipages.com.au/find/antenna_services/nsw/sydney")
    get_index_data(r)
Main()

1 Ответ

1 голос
/ 05 марта 2020
import requests
from bs4 import BeautifulSoup

r = requests.get("https://hipages.com.au/find/antenna_services/nsw/sydney")
soup = BeautifulSoup(r.text, 'html.parser')


for item in soup.findAll("h3", {'class': 'sc-bZQynM sc-iwsKbI dpKmnV'}):
    print(f"https://hipages.com.au{item.previous_element.get('href')}")

Выход:

https://hipages.com.au/connect/glencoelectricalbuildingmaintenanceairconditioningsecurityalarmscctv
https://hipages.com.au/connect/emcoelectricalservices
https://hipages.com.au/connect/abcelectricservicespl/service/126298
https://hipages.com.au/connect/ozyblindsnscreens
https://hipages.com.au/connect/samedaytvantennaservice
https://hipages.com.au/connect/langenelectricalnsw
https://hipages.com.au/connect/allprohandymanmaintenance
https://hipages.com.au/connect/amateairconditioningrefrigerationservices
https://hipages.com.au/connect/makeurmove
https://hipages.com.au/connect/uberantennas/service/184323
https://hipages.com.au/connect/cmkelectricalanddata
https://hipages.com.au/connect/antennadistributionservicesptyltd
https://hipages.com.au/connect/sydneysparky
https://hipages.com.au/connect/bluediamond
https://hipages.com.au/connect/digiproantennas
https://hipages.com.au/connect/vascom
https://hipages.com.au/connect/sparkyselectricalanddataptyltd
https://hipages.com.au/connect/prosparksolutions
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...