Как получить название компании в этом html, используя python веб-соскоб? - PullRequest
0 голосов
/ 03 мая 2020

Я собираю названия компаний на yellowpages.com.au, и у меня есть сведения о том, как найти правильный элемент (класс div), чтобы найти все имена. Ниже мой python код и URL-адрес, где я хочу получить информацию о названии компании. Каждый раз, когда я запускаю этот код, я ничего не получаю.

``` import bs4
from bs4 import BeautifulSoup
import lxml
import requests

url='https://www.yellowpages.com.au/search/listings?clue=plywood&locationClue=Northern+Territory&lat=&lon='

response=requests.get(url)
print('ok')

soup=BeautifulSoup(response.text,'lxml')
page=soup.find_all('div', class_="body left")
print(page) ```

Я прикрепил изображение проверенного веб-сайта / URL.

Надеюсь, вы поможете мне найти нужный элемент или переписать мой код. enter image description here

1 Ответ

0 голосов
/ 04 мая 2020

Возможно рассмотрим следующие бесплатные API

http://developers.sensis.com.au/docs/endpoint_reference

из:

http://developers.sensis.com.au/

См. ToS:

http://developers.sensis.com.au/Terms_of_Service

Они поддерживают огромный набор желтого и белого AU бизнес-листинги. Конечные точки API включают search.

http://developers.sensis.com.au/docs/endpoint_reference/Search

Краткое описание спецификаций:

https://www.programmableweb.com/api/sensis-business-search-rest-api

Кажется довольно простым из документации. Вам необходимо зарегистрироваться для получения ключа API.

...