Как мне отследить маршрут к моей странице назначения из разных 301-х?

Question

Простой вопрос для тех, кто может знать, самая сложная вещь в мире для меня:

Вот этот URL: http://hstgb.tradedoubler.com/file/118779/banners/searchboxes/holidays_search_8Sep09.html?url=http://clkgb.tradedoubler.com/click?p=118779&a=1868402&g=18436588

Это партнерский URL (я не пытаюсь заставить вас что-либо купить;))

Теперь, когда я нажимаю кнопку поиска, я перехожу на промежуточную страницу, которая затем отправляет параметры в последнюю минуту, чтобы открыть страницу назначения.

Вторая страница идет так быстро, что я не могу ее просмотреть или каким-либо образом прочитать ее исходный код. Как отследить страницу и отправленные параметры?

Answer 1

Вы можете использовать перехватчик пакетов, такой как Wireshark или надстройку браузера, которая отслеживает сетевой трафик, для захвата каждого отправляемого запроса и каждой получаемой страницы.

Answer 2

Ну, я написал маленький питон, чтобы узнать.

import urllib

def make_request(url, method='GET'):
    protocol, hostpath = urllib.splittype(url)
    if hostpath[:2] != '//':
        hostpath = '//' + hostpath
    host, path = urllib.splithost(hostpath)
    if len(path.strip()) == 0 or path[0] != '/':
        path = '/' + path
    query = "%s %s HTTP/1.1\r\nHost: %s\r\n\r\n"%(method, path, host)
    if protocol != 'http' and protocol is not None:
        raise ValueError, 'Invalid protocol specified.  http only'

    addresses = socket.getaddrinfo(host, 80)
    return (addresses, query)


def do_request(addresses, query):
    sock_type = addresses[0][:3]
    addr = addresses[0][4]
    connection = socket.socket(*sock_type)
    connection.connect(addr)
    connection.sendall(query)
    return connection

def urlpeek(url):
    return do_request(*make_request(url))

Когда я выполняю просмотр адреса, который вы даете, похоже, что сервер фактически возвращает ответ 200 OK, который состоит в основном из JavaScript ...