Сервер Google App Engine блокирует urlfetch на «reddit.com»?

Question

Я пытаюсь получить URL "http://www.reddit.com/r/WTF/comments/mv3mw/bad_time_for_smartassery_siri/.json", используя httpURLConnection.

Когда я пытаюсь использовать разные URL, он просто отлично работает.

когда я пытаюсь запустить его локально, он также работает нормально.

Это дает мне 503, когда я разверну его и получу к нему доступ.

Кто-нибудь знает?

Answer 1

Вы, вероятно, выходите за крайний срок.

Из документации выборки :

Срок может быть максимум 60 секунд для обработчиков запросов и 10 минут для очереди задач и обработчиков заданий cron. Если крайний срок - Нет, крайний срок - 5 секунд.

Мне впервые потребовалось больше 5 секунд, чтобы загрузить страницу. Я бы попробовал настроить ваш выбор на более длительный тайм-аут и посмотреть, как вы пойдете.

Answer 2

Нет, Google не блокирует запросы urlfetch к Reddit. Reddit, однако, может ограничивать количество запросов API по источникам, или их API может просто быть медленным или ненадежным. В моем тесте запросы к Reddit часто терпели неудачу, но обычно выполнялись успешно после нескольких попыток. Аналогичные проблемы возникают с Twitter и другими популярными общедоступными API.

Я бы посоветовал увеличить срок выполнения ваших запросов и перенести HTTP-запросы в Reddit в задачи. Если запрос внутри задачи завершается неудачно, задача будет откатываться и повторяться до тех пор, пока не будет выполнена успешно.