Python запрашивает не устанавливать куки (которые устанавливаются почтальоном, выполняющим точно такой же запрос) - PullRequest
Новая
       8

Python запрашивает не устанавливать куки (которые устанавливаются почтальоном, выполняющим точно такой же запрос)

0 голосов
/ 25 марта 2019

Я пытаюсь выполнить очистку данных на этом сайте.

Почтальон

Я заметил, что когда я отправляю первый запрос, я получаю код состояния 403. Взглянув на текст ответа, я увидел, что это связано с страницей с картинкой. Даже если я получу капчу, два куки будут установлены. Если я снова выполню запрос с этими файлами cookie, я смогу успешно получить содержимое страницы и установить все остальные файлы cookie.

Python-запросы :

Я пытался сделать то же самое на питоне. К сожалению, даже при том, что первые 2 куки-файла правильно настроены на первый запрос, ничего не меняется, когда я выполняю второй с куки-файлами. Я все еще получаю 403 на второй запрос, и мои response.headers не содержат никаких значений set-cookie.

В чем разница между запросами Postman и запросами Python, вызывающими это?

Вот код. 

import requests
url = "https://caliroots.com/"

headers = {
    'authority': "caliroots.com",
    'cache-control': "max-age=0,no-cache",
    'upgrade-insecure-requests': "1",
    'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36",
    'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8",
    'accept-language': "it-IT,it;q=0.9,en;q=0.8,en-US;q=0.7",
    }


s = requests.session()

res = s.get(url, headers=headers)

print(s.cookies.get_dict())

#prints {'__cf_bm': 'e53e5bf14d3954487eee990a77fb40021cbfddde-1553459842-1800-AW7vHhxHZhDGkFKP4utDWHjSOOunyoAsXy49bO9+BBp0np/1s8i3LBBPUKPebIagq/yFBR+Y6n67W0OyevTOJJo=', '__cfduid': 'de6684d8df9379ebd1355bbb3b1a7be291553459842'}

res2 = s.get(url,headers=headers) #Returns 403 :(
...