AppEngine выбирает через бесплатный прокси

Question

Моя (Python) программа AppEngine извлекает веб-страницу с другого сайта, чтобы очистить с нее данные, но кажется, что сторонний сайт блокирует запросы от Google App Engine! - Я могу получить страницу из режима разработки, но не при развертывании.

Можно ли обойти это, используя какой-нибудь бесплатный прокси?

Могу ли я использовать бесплатный прокси, чтобы скрыть тот факт, что я запрашиваю у App Engine?

Как мне найти / выбрать прокси? -- что мне нужно? - как мне выполнить выборку?

Есть ли что-то еще, что мне нужно знать или не упускать?

Answer 1

Вероятно, правильный подход - запросить разрешение у владельцев сайта, который вы просматриваете.

Даже если вы используете прокси-сервер, велика вероятность того, что запросы, поступающие через прокси-сервер, также будут заблокированы.

Answer 2

То, о чем вы говорите, является действительной ошибкой в ​​движке приложений SDK. Посмотрите на http://code.google.com/p/googleappengine/issues/detail?id=544 для обновления ошибок и обходных путей для Java и Python.

Answer 3

Рассматривали ли вы изменение пользовательского агента?

result = urlfetch.fetch(u,headers = {'User-Agent': "Mozilla/5.0"},allow_truncated=True) 

API всегда будет добавлять "AppEngine-Google;" агенту пользователя, но это может сработать, если ограничение не основано на диапазоне IP-адресов.

Answer 4

Ну, если честно, если они не хотят, чтобы вы это делали, то, вероятно, не стоит. Нехорошо быть злым.

Но если вы действительно хотите это сделать, лучшим подходом будет создание простого прокси-скрипта и запуск его на VPS или на другом компьютере с достаточно приличным подключением.

По сути, вы предоставляете REST API со своего сервера в GAE, а затем сервер просто отправляет все те же запросы, которые получает на целевой сайт, и возвращает результат.

Answer 5

У меня сейчас такая же проблема, и я думал об этом решении (еще не пробовал):

-> разработать приложение, которое доставит то, что вы хотите -> запустить его локально -> получить ваш локальный сервер с вашего начального

таким образом, прокси - это ваш компьютер, который, как вы знаете, не заблокирован

Дайте мне знать, если это работает!