Проблемы с запросами и BeautifulSoup

Question

Я пытаюсь прочитать новостную веб-страницу, чтобы узнать названия их историй. Я пытаюсь поместить их в список, но получаю пустой список. Может кто-нибудь указать, пожалуйста, правильное направление здесь? Что мне не хватает? Пожалуйста, смотрите код ниже. Спасибо.

import requests
from bs4 import BeautifulSoup

url = 'https://nypost.com/'
ttl_lst = []

soup = BeautifulSoup(requests.get(url).text, "lxml")

title = soup.findAll('h2', {'class': 'story-heading'})

for row in title:
     ttl_lst.append(row.text)

print (ttl_lst)

Answer 1

модуль запросов возвращает только первый отправленный им файл html. Такие сайты, как nypost, используют ajax запросы для получения своих статей. Для этого вам нужно будет использовать что-то вроде селена, что позволяет ajax запросов после загрузки страницы.