Как получить ответ с URL, который перенаправлен, используя golang

Question

Я сделал запрос http post в почтальоне, и он работает нормально, а также я экспортирую код python и данные ответа в порядке. Но когда я использую тот же код с синтаксисом golang, я не могу получить данные ответа.

import requests


headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'X-Apple-I-FD-Client-Info': '{"U":"Mozilla/5.0',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
    'Content-Type': 'application/json',
    'Origin': 'https://iforgot.apple.com',
    'Referer': 'https://iforgot.apple.com/password/verify/appleid',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'en-US,en;q=0.9'
}


data = '{"id":"ali@gmail.com"}'


response = requests.post('https://iforgot.apple.com/password/verify/appleid', headers=headers, data=data)
print(response.text)
print(response)

Код выше с запросом http работает нормально. Но в golang он не показывает результат, как показано в запросе python.

GoLang код:

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
)

func main() {
    url := "https://iforgot.apple.com/password/verify/appleid"
    method := "POST"
    // payload := strings.NewReader("{\"id\":\"ali@gmail.com\"}")

    reqBody, err := json.Marshal(map[string]string{
        "id": "ali@gmail.com",
    })
    if err != nil {
        print(err)
    }
    payload := bytes.NewBuffer(reqBody)

    log.Println("A Payload is ", payload)

    client := &http.Client{}
    req, err := http.NewRequest(method, url, payload)
    if err != nil {
        fmt.Println(err)
    }
    fmt.Println("Payload: ", payload)
    req.Header.Add("Accept", "application/json, text/javascript, */*; q=0.01")
    req.Header.Add("X-Apple-I-FD-Client-Info", `{"U":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36","L":"en-US","Z":"GMT+05:00","V":"1.1","F":"VGa44j1e3NlY5BSo9z4ofjb75PaK4Vpjt.gEngMQEjZr_WhXTA2s.XTVV26y8GGEDd5ihORoVyFGh8cmvSuCKzIlnY6xljQlpRD_vLwoxVagmmypZHgfLMC7AeLd7FmrpwoNN5uQ4s5uQ.gEx4xUC541jlS7spjt.gEngMQEjZr_WhXTA2s.XTVV26y8GGEDd5ihORoVyFGh8cmvSuCKzIlnY6xljQlpRD_vLwoxVagmmypZHgfLMC7Awvw0BpUMnGWqbyATblVnmccbguaDeyjaY2ftckuyPBDjaY1HGOg3ZLQ0IHxVS_509K8Qai.uJtHoqvynx9MsFyxYMA1cCyecGYiMfU.a4Y.a4Vdm_69WK2iwAxMOyeMrgPuVrA1cCtTf237lY5BSp55BNlan0Os5Apw.9o0"}`)
    req.Header.Add("Content-Type", "application/x-www-form-urlencoded; param=value")
    req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36")
    req.Header.Add("Origin", "https://iforgot.apple.com")
    req.Header.Add("Referer", "https://iforgot.apple.com/password/verify/appleid")
    req.Header.Add("Accept-Encoding", "gzip, deflate, br")
    req.Header.Add("Accept-Language", "en-US,en;q=0.9")
    res, err := client.Do(req)
    defer res.Body.Close()
    body, err := ioutil.ReadAll(res.Body)
    fmt.Println(string(body))
}

Мне нужны те же результаты, что и в python.

Answer 1

Существуют фундаментальные различия как в запросе, который вы делаете, так и в клиентах, которые вы используете. Клиент python requests автоматически обрабатывает файлы cookie и распаковывает результат по умолчанию, а клиент Go - нет.

Вы также отправляете тело json, но в Go Например, вы указываете, что тело application/x-www-form-urlencoded, что означает, что оно не будет правильно проанализировано сервером.

Если вы добавляете банку для обработки файлов cookie, не запрашиваете сжатый ответ (или, наоборот, не распаковываете ответ) и правильно устанавливаете тип содержимого, пример Go работает как ожидалось:

url := "https://iforgot.apple.com/password/verify/appleid"
method := "POST"

jar, _ := cookiejar.New(nil)
client := &http.Client{Jar: jar}
req, err := http.NewRequest(method, url, strings.NewReader(`{"id":"ali@gmail.com"}`))
if err != nil {
    log.Fatal(err)
}
req.Header.Add("Accept", "application/json, text/javascript")
req.Header.Add("Content-Type", "application/json")
res, err := client.Do(req)
if err != nil {
    log.Fatal(err)
}
defer res.Body.Close()

body, err := ioutil.ReadAll(res.Body)
if err != nil {
    log.Fatal(err)
}
fmt.Println(string(body))

Answer 2

Ваш запрос заархивирован, если вы прокомментируете строку req.Header.Add("Accept-Encoding", "gzip, deflate, br"), вы получите читаемый ответ.

Ответ:

{
    "appleID": {
        "sstt": "DgfLAY0Pjcyptm0jAsIIjaC1gOmtrABF4SqCgY6VpT7vUEe/SGWdtgo/3hVoF0viKGnJ7iRXiW98WMJeARITg74qvsE0afVB7YscM5yr+dBOekbsV4FpUXWDrOqXageN4Jd0wu0t2870slQJZVo/pcYGVAeTg/cTQ7sNebehroX/6NB28w8nuzUTIff0hHmEpi0LdmrDwO5iyuHXQvWtEZp7+9oQa46pUDMbvqtQ5fwHkWmQgS7ItN3IK0WAqfaiPIcMESPoH4tf2xsB0Xl/qvdw9sNetY+GjjL3WbKDAOX1TZI4LW2I4KQBHOfXXxB3MoCmVdz/9MLKVuJGkmAgyxAY0koXWmrQGgiJ6fKXZWOwXoVTqMajDWDxJSOkRzVro0MXguMYEFKdwMnM"
    },
    "validationErrors": [
        {
            "code": "errorNoAppleID",
            "message": "Please enter your Apple ID.",
            "path": "id",
            "suppressDismissal": false
        }
    ]
}

Что означает отсутствие идентификатора яблока