Невозможно получить доступ к некоторым веб-сайтам на сервисе Amazon - PullRequest
Новая
       46

Невозможно получить доступ к некоторым веб-сайтам на сервисе Amazon

0 голосов
/ 23 апреля 2019

Описание

Я сканирую веб-сайт: bjx.com , и все коды можно запускать на локальном компьютере. Затем я помещаю код в сервис Amazon и запускаю, он не работает.

Что я сделал

Я предполагаю, что, возможно, веб-сайт блокирует сервер, и я попробовал несколько способов:

1) curl http://guangfu.bjx.com.cn/xtgc/List.aspx?classid=583

2) wget http://guangfu.bjx.com.cn/xtgc/List.aspx?classid=583

сообщение об ошибке выглядит следующим образом: 

Resolving news.bjx.com.cn (news.bjx.com.cn)... 114.113.145.103
Connecting to news.bjx.com.cn (news.bjx.com.cn)|114.113.145.103|:80... failed: Connection timed out.
Retrying.

--2019-04-23 05:45:00--  (try: 2)  http://news.bjx.com.cn/list
Connecting to news.bjx.com.cn (news.bjx.com.cn)|114.113.145.103|:80...

некоторые ссылки:

https://serverfault.com/questions/124952/testing-a-website-from-linux-command-line

Мой вопрос:

как подтвердить, заблокировал ли меня веб-сайт, и, если он заблокирован, что я могу сделать, чтобы решить проблему и сканировать веб-сайт, спасибо

1 Ответ

0 голосов
/ 23 апреля 2019

Как насчет того, чтобы программа потерпела неудачу с определенной настройкой тайм-аута?

Например, чтобы сделать скручивание неудачным, если он не может получить ответ в течение 10 секунд

curl -m10

И, чтобы обойти эти проблемы, вы можете попробовать запустить пауков с прокси VPN-сети

...