Поиск названий и кодов всех аэропортов

Question

Я пытаюсь очистить данные, чтобы получить нужный мне текст. Я хочу найти строку с надписью aberdeen и все строки после нее, содержащие информацию об аэропорте. Вот пи c иерархии html:

I am trying to locate the text elements inside the class "i1" with this code:

import requests
from bs4 import BeautifulSoup

page = requests.get('http://www.airportcodes.org/')
soup = BeautifulSoup(page.text, 'html.parser')
table = soup.find('div',attrs={"class":"i1"})
print(table.text)

But I am not getting the values I expect at all. Здесь - ссылка на данные, если интересно. Очевидно, я новичок в соскабливании.

Answer 1

Проблема в вашем парсере BeautifulSoup:

import requests
from bs4 import BeautifulSoup

page = requests.get('http://www.airportcodes.org/')
soup = BeautifulSoup(page.text, 'lxml')
table = soup.find('div',attrs={"class":"i1"})
print(table.text)

Answer 2

почему люди предлагают селен? это не загружает данные динамически ... запросы + re - это все, что вам нужно, вам даже не нужен красивый суп

 data = requests.get('http://www.airportcodes.org/').content
 cities_and_codes =re.findall("([A-Za-z, ]+)\(([A-Z]{3})\)",data)

просто найдите любые буквенно-цифровые c символы (включая также запятую и пробел), за которыми следует ровно 3 заглавные буквы в скобках

Answer 3

Если вам нужны текстовые элементы, вы можете использовать:

soup.get_text()

Примечание: это даст вам все текстовые элементы.