Как обойти WP супер кеш с использованием python?

Question

Я пытаюсь собрать данные из часто обновляемого блога, поэтому я просто использую цикл while, который включает urllib2.urlopen ("http: \ example.com"), чтобы обновлять страницу каждые 5 минут для сбора данных, которые яв розыске.

Но я замечаю, что этим не получаю самый последний контент, он отличается от того, что я вижу через браузер, такой как Firefox, и после проверки как исходного кода Firefox, так и той же страницы, которую я получаюиз python я обнаружил, что это WP Super Cache, который мешает мне получить самый последний результат.

И я все еще получаю ту же самую страницу кэша, даже если я подделываю заголовки в своем коде Python.Так что мне интересно, есть ли способ обойти WP супер кеш?И почему в Firefox такого супер кеша нет вообще?

Answer 1

Вы пытались изменить URL с некоторыми безвредными данными? Примерно так:

import time
urllib2.urlopen("http:\example.com?time=%s" % int(time.time()))

Это на самом деле вызовет http:\example.com?time=1283872559. Большинство систем кеширования обходят кеш, если есть строка запроса или что-то, что не ожидается.