Доступ к защищенной странице входа с внешнего сервера (Java, Groovy)

Question

Я пытаюсь получить информацию с внутреннего сайта, но он защищен логином. Это друпал сайт с некоторым модулем авторизации.

Использование

def slurper = new XmlSlurper()

def htmlParser = slurper.parse("http://theurl.se/pageIwantToGo") 

возвращает 403 ( Forbidden ), и я не могу получить доступ к содержимому на этой странице.

То же самое с:

new URL('http://theurl.se/pageIwantToGo:).getText()

Из браузера я получаю страницу с формой входа в систему, у которой есть form_build_id, который мне, вероятно, нужно прочитать и отправить вместе с именем пользователя и паролем.

Как я могу обмануть сайт, который я являюсь браузером, чтобы я мог получить доступ к странице? Попытался использовать Groovy HTTPBuilder, но не смог пройти первый шаг.

Answer 1

Зависит от того, как реализована защита (обычная аутентификация, вход в форму, ....).Большинство HTTP-библиотек в Java (например: Apache HttpComponents ) поддерживают различные механизмы безопасности.

Обманывая сайт, заставляя его думать, что вы браузер, вы не попадете. Если вы хотите (но я не думаю, что это необходимо), вы можете «обмануть» сайт, думая, что вы браузер.установив соответствующий пользовательский агент в заголовке HTTP.(хотя это само по себе не обойдет безопасность)