Scrapy Nested Div Selection

Question

Я пытаюсь очистить заголовки статей от https://time.com/

Я хочу выбрать только те статьи, которые находятся под заголовком "Краткое"

Я попытался выбрать вложенный div, используяэтот код

for url in response.xpath('//div[@class="column text-align-left visible-desktop visible-mobile last-column"]/div[@class="column-tout"]/a/@href').extract():

, но он не работал

Может кто-нибудь помочь с извлечением этих конкретных статей

Answer 1

Вы можете найти это div по содержанию и затем получить все following-sibling:

for url in response.xpath('//div[.="The Brief"]/following-sibling::div//a/@href').extract():