Как работать с user-agent для загрузки веб-страницы с помощью Wget - PullRequest
Новая
       10

Как работать с user-agent для загрузки веб-страницы с помощью Wget

17 голосов
/ 15 января 2012

Я пытаюсь загрузить эту страницу с помощью Wget.Вот ссылка на страницу:

http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387

А вот мой cmd:

wget -O ebay.html -user-agent = "Mozilla / 5.0 (Windows NT 5.2; rv: 2.0.1) Gecko / 20100101 Firefox / 4.0.1" "http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387"

Когда я использую его для доступа к странице, используябраузер работает нормально. Когда я использую Wget, он загружает другую страницу, а не оригинальную. Я думаю, что проблема для агента пользователя. Какое решение?

1 Ответ

13 голосов
/ 22 января 2012

Проблема не в пользовательском агенте, а в том, что отсутствует cookie или cookie. Решение

  1. Получить обычную страницу продукта с помощью wget --save-cookies = ebay-cookies,
  2. Выделите URL ссылки «Печать» из этого файла HTML. (Я сделал это вручную, вы, очевидно, должны написать скрипт для этого.)
  3. Получить URL-адрес для печати с помощью wget --load-cookies = ebay-cookies

Я попробовал это на случайной странице товара; это сработало.

...