Соскоб сети: Beautifulsoup

Question

Я пытаюсь извлечь все "Интересные места" со страниц Википедии, используя красивый суп и Python / Pandas, и поместить их в информационный кадр. Например:

https://en.wikipedia.org/wiki/1st_arrondissement_of_Paris

url_Paris_01 = requests.get('https://en.wikipedia.org/wiki/1st_arrondissement_of_Paris').text
soup_Paris_01 = BeautifulSoup(url_Paris_01, "html.parser")

for headline in soup_Paris_01.find_all("span", {"class": "mw-headline"}):
    print(headline.text)

---

Geography
Demography
Historical population
Immigration
Quarters
Economy
Education
Map
Cityscape
**Places of interest**
Bridges
Streets and squares
See also
References
External links

---

не работает

soup_Paris_01.find_all('li',attrs={"id":"Places_of_interest"}) 

Я вижу, что мои "Интересные места"у всех есть заголовок.

Достопримечательности

• Парк Бют-Шомон
• Парк де ла Виллетт
• Парк Бат-дю-Шапо-Руж
• Cent Quatre Центр искусств

Answer 1

Сначала найдите элемент ul в теге place of interest span, а затем выполните find_all () для всех тегов привязки в элементе ul.

from bs4 import BeautifulSoup
import requests
url_Paris_01 = requests.get('https://en.wikipedia.org/wiki/1st_arrondissement_of_Paris').text
soup_Paris_01 = BeautifulSoup(url_Paris_01, "html.parser")
placeofinterset=soup_Paris_01.find("span",id="Places_of_interest").find_next('ul')
for place in placeofinterset.find_all('a'):
    print(place['title']) #This will give you title
    print(place.text) #This will give you text