Есть ли способ сделать http-запрос, не будучи забаненным? - PullRequest
1 голос
/ 16 октября 2019

Я хочу сделать слом на сайте odmiana.net. Однако я забанен только после нескольких запросов (4 или 6). Эти запросы разнесены во времени

robots.txt:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Allow: /

Sitemap: https://odmiana.net/sitemap.xml.gz

текущий код:

require 'rest_client'

response = RestClient.get 'https://odmiana.net/'

Я не понимаю, почему я обнаружен как робот икак не бытьУ кого-нибудь есть идея?

1 Ответ

0 голосов
/ 16 октября 2019

Мне удалось выполнить столько запросов, сколько я хочу, благодаря следующему коду:

driver = Selenium::WebDriver.for :firefox
10.times do
  driver.get 'https://odmiana.net/'
  sleep 3
end
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...