Я создал скрипт на python, чтобы получить ссылки различных компаний-перевозчиков с веб-сайта. Там 3501 записей, проходящих через несколько страниц. Я хотел бы получить ссылку на эти записи. Моя текущая попытка может получить ссылки с него; это посадочная таблица, но я не могу найти какой-либо способ перейти на следующую страницу, чтобы проанализировать ссылки оттуда и т. Д.
ссылка на веб-сайт
Я пробовал с:
import requests
from bs4 import BeautifulSoup
url = 'http://www.truckingcompanies.ca/trucking_new-york/'
def get_links(link):
r = requests.get(link)
soup = BeautifulSoup(r.text,"lxml")
for item in soup.select("[id^='trucking_company_record_'] a[id^='company_name_']"):
print(item.get("href"))
if __name__ == '__main__':
get_links(url)
Как я могу получить ссылки разных компаний, просматривающих следующие страницы, используя запросы?