Java Web соскоб с прокси - PullRequest
       12

Java Web соскоб с прокси

0 голосов
/ 28 февраля 2019

В настоящее время я работаю над сервисом очистки веб-сайтов со всем, что с ним связано (ротация прокси, ротация пользовательского агента, случайные задержки).Это работает для меня, когда количество параллельных запросов мало (до 4).Но когда я увеличиваю параллелизм, через некоторое время меня блокирует веб-страница.Но он блокирует не один прокси, а все остальные прокси, даже если он используется впервые.Я хотел бы понять, как они могут узнать?Могу ли я предотвратить, установив некоторые дополнительные записи в заголовке запроса и повернув их?Заранее спасибо!

...