Я пытаюсь сделать запрос на веб-сайт с прокси-сервером, используя httparty примерно так:
def self.fetch_page_with_html_response(url, proxy_id)
proxy = Proxy.find(proxy_id)
request_options = {
http_proxyaddr: proxy.url, http_proxyport: proxy.port, http_proxyuser: proxy.username, http_proxypass: proxy.password,
headers: {"User-Agent" => proxy.user_agent}
}
response = HTTParty.get(url, request_options)
response
end
На некоторых веб-сайтах мои запросы либо зависают, либо возвращаются страницы с ошибками, на которых веб-сайт блокирует мне выбор страницы.
Когда я использую те же самые настройки прокси в моем браузере Chrome, используя расширение, такое как SwitchyOmega , запросы проходят нормально, и страница загружается.
Есть ли какая-либо причина, по которой запрос будет заблокирован с моего веб-сервера, но не через мой браузер?
Я даже тестировал, используя тот же пользовательский агент и предоставляя точно такие же заголовки, которые отправляет мой браузер .