У меня есть очень простое приложение, работающее в appengine, которое запрашивает веб-страницу каждые пять минут и анализирует определенный фрагмент данных.
Все работает нормально, за исключением того, что ответ, полученный от внешнего запроса (с использованием urllib2), не отражает последние изменения на странице. Иногда требуется несколько минут, чтобы получить последнюю версию, иногда более часа.
Есть ли прозрачный слой кэширования, который appengine создает? Или я что-то здесь упускаю? Я просмотрел заголовки кэширования запрашиваемой страницы, и заголовки Expires, LastModified или ETags не отправлены.
Обновление:
Иногда он получает новую версию страницы для ряда запросов, а затем случайным образом получает старую устаревшую версию.