Что нужно сделать, чтобы клиент Python извлекал URL с кэшированием и перенаправлениями? - PullRequest
Новая
       29

Что нужно сделать, чтобы клиент Python извлекал URL с кэшированием и перенаправлениями?

0 голосов
/ 16 января 2012

Я пишу клиент в Python 2.7.2, используя httplib для получения URL-адресов из Интернета: 

def connectHttp(url, sub_url)
    conn = httplib.HTTPConnection(url)
    try:
        conn.request("GET", "/" + sub_url)
    except Exception as ex:
        conn.close()
        logMessage('Connection problems:')
        logMessage(str(ex))
        logMessage('Exception message:')
        logMessage(ex.message)
        logMessage('-------')
        return (503, "")
    response = conn.getresponse()
    status = response.status
    data = response.read()
    conn.close()
    return (status, data)

Моя проблема в том, что я не знаю, как обрабатывать перенаправления, и я даже неконечно, если у httplib есть опция для этого.Другое дело, что существует простой способ предотвратить кэширование на сервере (исправление: прокси) (например, путем добавления фиктивной строки запроса со случайными данными)

Очень ценится ...

1 Ответ

1 голос
/ 16 января 2012

httplib2 обрабатывает перенаправления. Контроль за кешем - это гораздо большая тема; Первый вопрос заключается в том, стоит ли пытаться форсировать некэшированные страницы, а не оставлять их на сервере - если автор включил кэширование, я бы начал с предположения, что они сделали это по какой-то причине.

...