Перебор выпадающего списка с помощью Scrapy

Question

Очень быстрый вопрос, как бы я перебрать этот выпадающий список? Я думаю, что мне нужно использовать xpath, но просто не знаю, как. Будет ли проще просто манипулировать URL? - это предсказуемо.

Вот ссылка, с которой я копирую: http://www.southamptonweather.co.uk/wxhistory.php?

Вот мой код в настоящее время:

import scrapy


class WeatherSpider(scrapy.Spider):
    name = "weatherspider"
    start_urls = [
        "http://www.southamptonweather.co.uk/wxhistory.php?date=201907"]

    def parse(self, response):
        for average_temprature in response.xpath('//td[text()="Average temperature"]/following-sibling::td/text()').extract():
            yield {
                "Average Temperature": average_temprature
            }

В нынешнем виде это требует временных данных, которые мне нужны, я просто хочу получать их с каждой даты, начиная с апреля 2008 года.

Спасибо,

Август