Как найти данные заголовка и имя? (Python-запросы)

Question

Я хочу использовать запросы на веб-скрап на сайте авторизации. Я уже сделал код, используя селен, но это очень неудобно и медленнее делать это так, как я хочу сделать его общедоступным (каждый пользователь должен загрузить драйвер chrome).

Проблема в том, что с сайта поступило несколько запросов, и у меня нет опыта обработки этих данных и извлечения данных и имени заголовка. Любая помощь отличная, спасибо.

Answer 1

[Предпосылка]

Используя модуль запросов, вы можете отправлять запросы следующим образом:

import requests

url = "http://www.example.com"  # request url

headers = {  # headers dict to send in request
  "header_name": "headers_value",
 }

params = {  # params to be encoded in the url
  "param_name": "param_value",
}

data = {  # data to send in the request body
  "data_name": "data_value",
}

# Send GET request.
requests.get(url, params=params, headers=headers)

# Send POST request.
requests.post(url, params=params, headers=headers, data=data)

После выполнения запроса вы можете получить много информации из объекта ответа:

>>> import requests

# We perform a request and get the response object.
>>> response = requests.get(url, params=params, headers=headers)
>>> response = requests.post(url, params=params, headers=headers, data=data)

>>> response.status_code  # server response status code
>>> 200  # eg.

>>> response.request.method
>>> 'GET'  # or eventually 'POST'

>>> response.request.headers # headers you sent with the request
>>> {'Accept-Encoding': 'gzip, deflate, br'}  # eg.

>>> response.request.url  # sent request url
>>> 'http://www.example.com'

>>> response.response.body
>>> 'name=value&name2=value2' # eg.

В заключение вы можете получить всю информацию, которую вы можете найти в Dev Tools в браузере, из объекта ответа . Вам больше ничего не нужно. Представление Dev Tools Вид инструмента Dev 2

После отправки запросов GET или POST вы можете получить информацию из Dev Tools:

В Общие сведения :

URL запроса : адрес, на который вы отправили запрос. Соответствует response.request.url Метод запроса : соответствует response.request.method Код состояния : соответствует response.status_code

In Заголовки ответа :

Вы найдете заголовки ответа, которые соответствуют response.headers

например. Подключение: Keep-Alive, Длина контента: 0, Content-Type: text / html; кодировка = UTF-8 ...

In Заголовки запросов :

Вы найдете заголовки запроса, которые соответствуют response.request.headers

В Данные формы :

Вы можете найти данные, которые вы передали с помощью ключевого слова данных в запросах. Соответствует response.request.body