Можно ли использовать виртуальный / машинный IP вместо Proxy Server for Scrapy

Question

У меня есть сканер Scrapy, и я хочу повернуть IP, чтобы мое приложение не было заблокировано.Я устанавливаю IP в scrapy, используя request.meta['proxy'] = 'http://51.161.82.60:80', но это IP виртуальной машины.Мой вопрос: можно ли использовать виртуальную машину или IP-адрес компьютера для прокси-сервера или мне нужен прокси-сервер?

В настоящее время я занимаюсь этим.Это не выдает никакой ошибки, но когда я получаю ответ от http://checkip.dyndns.org, это - мой собственный IP, не обновленный IP, который я установил в мета.Вот почему я хочу знать, нужен ли мне прокси-сервер.

Answer 1

Причина, по которой вы получаете свой собственный IP, заключается в том, что ваша виртуальная машина «прозрачна».Вам нужно будет перехватить ваш запрос на виртуальной машине, удалить заголовки отслеживания, такие как X-Forwarded-For, и ваш сервер должен знать, кому отвечать, когда он получает ответ от просматриваемого вами веб-сайта.

Однако самое простое решение - установить прокси-сервис на вашей виртуальной машине, например Squid , а затем установить forwarded_for off, чтобы сделать его анонимным прокси-сервером.Могут быть другие варианты запроса, чтобы сделать его действительно анонимным.Не забудьте защитить IP-адреса из белого списка http_access allow specialIP и acl specialIP src x.x.x.x в /etc/squid/squid.conf.Порт Squid по умолчанию - 3128.

Answer 2

Определенно вам нужен прокси-сервер.метаданные - это только поле в запросе http.сторона сервера все еще знает общедоступный ip, который действительно соединяется со слоя соединения tcp.