Почему www.amazon.com отображает двоичные данные? - PullRequest
Новая
       25

Почему www.amazon.com отображает двоичные данные?

0 голосов
/ 02 апреля 2019

Если вы свернете www.amazon.com, сервер ответит двоичными данными. 

curl -L https://www.amazon.com | less

Тем не менее, когда вы добавляете пользовательский агент или просматриваете точно такой же URL в браузере, они отправляют действительный HTMLразметка. 

curl -L -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30" https://www.amazon.com | less

Почему Amazon выбрал бы отправку двоичных данных клиентам, для которых не указан пользовательский агент?Я не уверен, что они должны получить, делая это.

Конечно, они могут пытаться запутать свои ответы ботам.Но если это так, они могли бы вообще не отправлять ответ.

Любое понимание будет оценено.

1 Ответ

2 голосов
/ 02 апреля 2019

Проверьте заголовок кодировки содержимого с флагом '-i'.Скорее всего, это значение gzip, что означает, что содержимое является сжатым двоичным файлом, который большинство браузеров будет декодировать при получении.

...