Запрос данных в Python, когда не указана информация о создании URL

Question

Я пытаюсь получить данные с веб-сайта, которые я обычно получаю, используя поля для загрузки CSV. Кажется, что я должен иметь возможность получить данные напрямую или временно загрузить CSV и получить их оттуда. Обычно на сайте есть некоторые инструкции о том, какие поля используются для запроса сайта. Есть ли способ сделать это в python, не зная заранее полей?

Вот сайты, с которых я хочу запросить данные / scrape: https://ard-request.air-resource.com/data.aspx https://docs.airnowapi.org/webservices.

Я попробовал это на основе другого поста Я прочитал, но не смог заставить его работать. Эта строка fname = re.findall('filename=(.+)', cd) не возвращает ничего.

import requests
import re

def getFilename_fromCd(cd):
    """
    Get filename from content-disposition
    """
    if not cd:
        return None
    fname = re.findall('filename=(.+)', cd)
    if len(fname) == 0:
        return None
    return fname[0]


url = 'http://google.com/favicon.ico'

url = 'https://ard-request.air-resource.com/data.aspx'

r = requests.get(url, allow_redirects=True)
filename = getFilename_fromCd(r.headers.get('content-disposition'))
open(filename, 'wb').write(r.content)