Как правильно получить API с ограничениями Retry-After

Question

Я пытаюсь получить ArXiv API с помощью этого кода:

import urllib.request
import pandas as pd
import xml.etree.ElementTree as ET

OAI = "{http://www.openarchives.org/OAI/2.0/}"
ARXIV = "{http://arxiv.org/OAI/arXiv/}"

def harvest(arxiv):
    df = pd.DataFrame(columns=("title", "abstract", "categories"))
    base_url = "http://export.arxiv.org/oai2?verb=ListRecords&"
    url = (base_url +
           "from=2012-01-01&until=2019-01-01&" +
           "metadataPrefix=arXiv&set=%s"%arxiv)

    while True:
        print("fetching", url)

        response = urllib.request.urlopen(url)

        xml = response.read()

        root = ET.fromstring(xml)

        for record in root.find(OAI+'ListRecords').findall(OAI+"record"):
            meta = record.find(OAI+'metadata')
            info = meta.find(ARXIV+"arXiv")
            categories = info.find(ARXIV+"categories").text

            contents = {'title': info.find(ARXIV+"title").text,
                        'abstract': 
                         info.find(ARXIV+"abstract").text.strip(),
                        'categories': categories.split(),
                        }

            df = df.append(contents, ignore_index=True)

        token = root.find(OAI+'ListRecords').find(OAI+"resumptionToken")
        if token is None or token.text is None:
           break
        else:
           url = base_url + "resumptionToken=%s"%(token.text)

    return df

df_hep_th = harvest("physics:hep-th")

df_hep_th.to_csv('df_hep_th.csv', sep=',', encoding='utf-8')

Каждый раз я получаю 1000 документов и добавляю их в кадр данных.Затем я сохраняю df как csv.

Я пробовал этот код раньше с успехом, например, чтобы получить результаты категории "физика: hep-ex".Сначала он отлично работает, но теперь я получаю эту ошибку и не могу ее решить:

  File "C:\Users\my_user\Anaconda3\lib\urllib\request.py", line 649, in 
       http_error_default
  raise HTTPError(req.full_url, code, msg, hdrs, fp)

  HTTPError: Retry after specified interval

Answer 1

Проблема вызвана тем, что вы делаете слишком много запросов за небольшой промежуток времени.Взгляните на Повторить после HTTP документов.Что вы должны сделать, это получить этот интервал времени t, и когда вы получите ошибку, подождите t секунд с некоторой функцией задержки и продолжите выполнение цикла.