Python BeautifulSoup - таблица не возвращает ни одного при проверке по идентификатору

Question

Я хочу очистить таблицу ежедневных наблюдений снизу по указанному URL-адресу https://www.wunderground.com/history/daily/in/chennai/VOMM/date/2017-1-1

Я хочу использовать идентификатор таблицы для списания.Я использую этот код

from bs4 import BeautifulSoup
import requests
import lxml

url = 'https://www.wunderground.com/history/daily/in/chennai/VOMM/date/2017-1-1';
content = requests.get(url).content
soup = BeautifulSoup(content, 'lxml')
table = soup.find('table', {'id' : 'history-observation-table'})
print(table)

Но это возвращается Нет.Как мне почистить стол?

Answer 1

Это динамическая страница, вы можете использовать данные json с URL-адреса, например

https://api.weather.com/v1/geocode/12.99361134/80.17694092/observations/historical.json?apiKey=*********&startDate=20170101&endDate=20170101&units=e

, вы можете увидеть настоящий ключ API в консоли браузера -> Сеть

или использовать селен

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait 

driver = webdriver.Chrome()
driver.get("https://www.wunderground.com/history/daily/in/chennai/VOMM/date/2017-1-1")

table = WebDriverWait(driver, 15).until(lambda d: d.find_element_by_id('history-observation-table'))
print(table.text)