URL в HTML и URL для нужной ссылки не совпадают

Question

Я работаю над поиском некоторых ссылок из базы данных академических статей на китайском языке.

Похоже, что когда я обновляю страницу до статьи, которую я просматриваю, или просто копирую и вставляю URL, URLперенаправляет на домашнюю страницу базы данных, а не на статью.

Например, следующая ссылка ведет на мои результаты поиска: http://search.cnki.net/search.aspx?q=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD

Индивидуальный URL первой статьи: http://www.cnki.net/kcms/detail/detail.aspx?dbcode=CJFQ&dbName=CJFQ2016&FileName=KJDB201615009&v=&uid=

Однако, если вы попытаетесь напрямую щелкнуть ссылку статьи или обновить страницу статьи, она перенаправляется на домашнюю страницу базы данных.Почему это происходит?Есть ли способ получить «стабильный» URL для этих статей?

Одна деталь, которая может иметь значение, хотя я не уверен, что URL в коде HTML для отдельных статей также отличается.

<a href="http://epub.cnki.net/grid2008/brief/detailj.aspx?filename=KJDB201615009&amp;dbname=CJFDLAST2016" target="_blank">

Answer 1

Это не совсем зависит от вас.Веб-сайт, на который вы ссылаетесь, проверяет, является ли ссылка, которую вы открываете, прямой или была открыта с другой страницы того же сайта.Это, вероятно, предотвращает встраивание ссылок этого сайта в другие сайты.Короче говоря, он не допускает прямых ссылок на свои статьи.Вы можете увидеть это, изучив заголовок, возвращенный из запроса.

Вместо 200 OK вы получите 302.

Что говоритбраузер для перенаправления в другое место.Вы можете попытаться обмануть сайт, добавив заголовок "Referer" к вашему запросу.

Если вы посмотрите на заголовок , который работает, вывижу, что есть один.Я не пробовал, но я уверен, что это сработает.