Я использую эту библиотеку php http://docs.guzzlephp.org/en/stable/overview.html для получения контента с удаленного сайта. (версия 6)
Я тестирую случайным образом два URL.
- URL: https://www.asos.com/jack-jones/jack-jones-leather-chelsea-boot-in-black/prd/12700615?clr=pirate-black&colourWayId=16521640&SearchQuery=&cid=57743
код:
$url = 'https://www.asos.com/jack-jones/jack-jones-leather-chelsea-boot-in-black/prd/12700615?clr=pirate-black&colourWayId=16521640&SearchQuery=&cid=57743';
$request = $this->client->request('GET', $url, [
'debug' => true,
'headers' => [
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
'Accept' => '*/*',
'Accept-Encoding' => 'gzip, deflate'
]
]);
Я использую Accept-Encoding в URL 1. Если я не использовал Accept-Encoding, это не сработало бы.
URL:
https://www.gap.com/browse/product.do?pid=440775002&cid=5225&pcid=5225&vid=1&grid=pds_0_190_1&cpos=0&cexp=1321&cid=CategoryIDs%3D5225&cvar=9527&ctype=Listing&cpid=res19102206328645959183874#pdp-page-content код:
$url = 'https://www.gap.com/browse/product.do?pid=440775002&cid=5225&pcid=5225&vid=1&grid=pds_0_190_1&cpos=0&cexp=1321&cid=CategoryIDs%3D5225&cvar=9527&ctype=Listing&cpid=res19102206328645959183874#pdp-page-content';
$request = $this->client->request('GET', $url, [
'debug' => true,
'headers' => [
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
'Accept' => '*/*'
]
]);
Я не использую Accept-Encoding в URL-адресе 2. Если бы я использовал Accept-Encoding, он бы нене работают.
Оба кода работают нормально, но я не знаю, как решить, когда поставить Accept-Encoding.
Разве вы не знаете, как?
ИлиЕсть ли лучшее решение для загрузки контента сайта?