Поле местоположения отсутствует в заголовках ответа POST - PullRequest
Новая
       23

Поле местоположения отсутствует в заголовках ответа POST

0 голосов
/ 29 июня 2019

Я пытаюсь войти на веб-страницу с помощью библиотеки запросов Python. Я отправляю запрос POST на ссылку и получаю ответ обратно, но мне не хватает пункта «Расположение» в заголовках ответа. Я использую следующий код: 

import requests
from bs4 import BeautifulSoup

url = 'https://aab.powerapp.nl/login'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content)
token = soup.find('input', {'name': '_token'}).get('value')
headers['Cookie'] = '; '.join([x.name + '=' + x.value for x in response.cookies])
headers['Content-Type'] = 'application/x-www-form-urlencoded'
payload = {
        '_token': token,
        'emailaddress': '', 
        'password': ''
}
response = requests.post(url + '/validate', files=payload, headers=headers)

Заголовки запросов, как показано в Chrome, следующие: 

POST /login/validate HTTP/1.1
Host: aab.powerapp.nl
Connection: keep-alive
Content-Length: 90
Cache-Control: max-age=0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
Origin: https://aab.powerapp.nl
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Referer: https://aab.powerapp.nl/login
Accept-Encoding: gzip, deflate, br
Accept-Language: nl-NL,nl;q=0.9,en-US;q=0.8,en;q=0.7
Cookie: XSRF-TOKEN=eyJpdiI6InkyK1pWbzRcL3dmbVRPeVwvNW52UjFyUT09IiwidmFsdWUiOiJWazZXRGFDb0tWcGQ1WjhleHdSRzZYU202WXN3bG4wbG9YQnZZcUNYTndDcXJETDl2MGIrY0dnUVlOcUhoTmZKIiwibWFjIjoiZmNmNzlmMjc5YWRiMmMyNjk0MmI1YjE5ZTE2OTNmZGU5YTRlNDA0MDg3ZGE4NTI1ZTc3NTBkZjg0MjFjOTQzNSJ9; pa_session_aabp=eyJpdiI6IjlidWIxdlVybFl0UjJHOXorcnFmT2c9PSIsInZhbHVlIjoiM0JZXC9NNHJOWlFIVjBhQ2xxelN2ZENrSVBuTkpibzJybUhkSHRUeGpSTTRITnFyK2E1M3ExM2VjWjNnNG4rbXMiLCJtYWMiOiJmN2NjZGRkNjc2YTJkZjBjNGVkZDczODNlZDI1YTk5YTllODk1YmFiMDc4Mzc5MWM2ZDZmMThiZjNmMzU0MmU5In0%3D

Я получаю только следующие заголовки: 

{'Date': 'Sat, 29 Jun 2019 15:40:15 GMT', 'Server': 'Apache', 'Cache-Control': 'no-cache, private', 'Set-Cookie': 'pa_session_aabp=eyJpdiI6ImFwS21QNVpMRGh1ZHJ0ZW1vbCtia1E9PSIsInZhbHVlIjoiRHZHa1wvZlNKMnkzZVEzTCthQVZ1eGdjSmRVbEZVSVJ2RHN5ZXZwNEV6NmRkZVZnTVhTMVlGUWxES1dYUmdvQlgiLCJtYWMiOiIyNWRhYTRkNzUyZTdiYmI4ODYwMDBkMmVjMDRmNzliYzZmZDAzNzg4N2NiMTdkMWI3Y2YyZjQyOGI0MDFiZWJlIn0%3D; path=/; domain=aab.powerapp.nl; secure; httponly', 'Location': 'https://aab.powerapp.nl/login', 'Keep-Alive': 'timeout=5, max=100', 'Connection': 'Keep-Alive', 'Transfer-Encoding': 'chunked', 'Content-Type': 'text/html; charset=UTF-8', 'Content-Language': 'nl'}

Я попытался установить аргумент allow_redirects для True и False, но все еще не могу получить элемент Location обратно в заголовках ответа. Кроме того, я попытался установить несколько различных заголовков запросов, включая Cookie, Referer и User-Agent. В дополнение к emailaddress и password, которые отправляются в запросах в виде данных формы, отправляется третье поле, _token. Я не уверен, может ли это быть причиной проблемы, поскольку я также не уверен, как определяется значение токена.

EDIT: Я обнаружил, что токен, который также отправляется в виде данных формы, может быть извлечен из html страницы входа в систему. Я внес некоторые изменения в свой сценарий, чтобы отразить это знание. К сожалению, это, похоже, не решило мою проблему.

Ответы [ 2 ]

0 голосов
/ 29 июня 2019

Мне удалось исправить это с помощью запросов session в сочетании с использованием аргумента data вместо аргумента files. Код ниже: 

import requests
from bs4 import BeautifulSoup

session = requests.session()
url = 'https://aab.powerapp.nl/login'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
           "Upgrade-Insecure-Requests": "1"}
response = session.get(url, headers=headers)
soup = BeautifulSoup(response.content)
token = soup.find('input', {'name': '_token'}).get('value')
headers['Content-Type'] = 'application/x-www-form-urlencoded'
payload = {
        '_token': token,
        'emailaddress': '', 
        'password': ''
}
response = session.post(url + '/validate', data=payload, headers=headers, allow_redirects=False)
0 голосов
/ 29 июня 2019

Вы должны отправлять свои учетные данные один раз за сеанс, в начале, и после успешного прохождения этого процесса вы получите строку токена, которая действительна в течение некоторого времени, определенного на стороне сервера.Любой другой вызов api после авторизации требует, чтобы этот токен был отправлен в качестве заголовка.

...