получить cloudflare 429 при попытке симулировать запрос, не получить его при использовании fiddler - PullRequest
Новая
       30

получить cloudflare 429 при попытке симулировать запрос, не получить его при использовании fiddler

0 голосов
/ 23 февраля 2020

Я пытался смоделировать запрос, используя java, но каждый раз, когда я пытаюсь отправить его, я получаю cloudflare 429, при использовании fiddler для имитации того же запроса я получаю 200. Java код (не работает): 

Jsoup.connect("")
            .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36")
            .header("Connection", "keep-alive")
            .header("Cache-Control", "max-age=0")
            .header("Upgrade-Insecure-Requests", "1")
            .header("Sec-Fetch-Dest", "document")
            .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9")
            .header("Sec-Fetch-Site", "none")
            .header("Sec-Fetch-Mode", "navigate")
            .header("Sec-Fetch-User", "?1")
            .header("Accept-Encoding","gzip, deflate, br")
            .header("Accept-Language","en-US,en;q=0.9,he-IL;q=0.8,he;q=0.7")
            .ignoreContentType(true)
            .ignoreHttpErrors(true)
            .method(Method.GET)
            .execute();

Fiddler RAW (Working, 200) 

GET 
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36
Sec-Fetch-Dest: document
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9,he-IL;q=0.8,he;q=0.7

Буквально используя тот же заголовок, есть ли другой способ, чтобы cloudflare узнал, что я не использую Webdriver?

1 Ответ

0 голосов
/ 23 февраля 2020

Ваша проблема не на уровне кода. Код состояния HTTP 429 означает Too many requests.

Похоже, вы отправили слишком много запросов и, таким образом, активировали защиту от атак DOS Cloudflare.

...