Groovy: CyberNeko |Агенты пользователей |Версия браузера - PullRequest
Новая
       18

Groovy: CyberNeko |Агенты пользователей |Версия браузера

0 голосов
/ 24 ноября 2010

В настоящее время я использую CyberNeko в попытке получить нужную информацию с веб-сайта. Тем не менее, я считаю, что веб-сайт проверяет версию пользовательского агента / браузера, чтобы не перехватить содержимое URL.

Мне известно об использовании htmlunit для изменения версии браузера, но я не уверен, смогу ли я сделать это с помощью CyberNeko.

Кто-нибудь знает, возможно ли это сделать?

1 Ответ

1 голос
/ 24 ноября 2010

Я никогда не использовал CyberNeko, но я думал, что это всего лишь анализатор HTML, то есть я не думал, что вы сможете использовать его для выдачи HTTP-запросов и фактически загрузки веб-страницы. *

Это может быть тот факт, что в запросе HTTP, выданном CyberNeko, отсутствуют различные заголовки, такие как заголовок пользовательского агента. Простой способ убедиться, что HTTP-запрос выглядит как запрос, отправленный из браузера, - это использовать HttpClient вместо CyberNeko для загрузки веб-страницы. Вот пример кода здесь .

Как только вы успешно загрузили страницу, используйте CyberNeko, чтобы разобрать интересующие вас фрагменты.

...