Как я могу собрать данные с сайта, защищенного с помощью Shibboleth?

Question

Я пытаюсь собрать данные с одного из веб-сайтов моего университета, который использует Shibboleth как форму аутентификации / защиты.Тем не менее, я испытываю затруднения с определением наилучшего способа обойти это и перейти на страницу, которую я хочу почистить.У меня есть действительные учетные данные, с помощью которых я могу войти в систему.У кого-нибудь есть предложения по выполнению этой задачи?

Answer 1

Я успешно работал над сценарием входа в Shibbolized (в моем случае, чтобы следить за состоянием как Shibboleth IdP, так и приложений, которые он защищает).

Я использую модуль Python urllib и ихклассы для обработки перенаправления следования и передачи cookie (для Shibboleth) и отправки формы входа.После небольшого возни с urllib вы получите большую часть пути к успеху с помощью Shibbolized входа в систему.Вы можете использовать этот подход для обработки первоначального входа в систему на веб-сайте Shibbolized, а затем обрабатывать очистку с помощью прямого использования Python urllib.

Пример сценария Python для входа в Shibboleth

Answer 2

Очень поздний ответ, но вы можете использовать Facebook Webdriver для входа в систему и очистки после проверки подлинности.

Answer 3

Я считаю, что профиль ECP был разработан для доступа к ресурсам, защищенным Shibboleth, не-браузерным клиентом (т. Е. Командной строкой)

Попробуйте один из примеров клиентов, доступных на вики-странице Shibboleth, на которую я ссылался выше

Answer 4

Вы также можете попробовать Apache JMeter , просто записать свои действия, выполнить некоторые сценарии (ну, это не так просто с точки зрения шибболет), и вы можете получить доступ к этим страницам автоматически.

[Правка - лучшее решение] Я считаю, что на страницах документации Shibboleth есть сценарии для Grinder (еще один инструмент для нагрузочного тестирования). В этом тесте планируется, на самом деле, скрипты Python (хорошо, Jython), которые должны быть довольно легко изменены и использованы для ваших целей

Answer 5

Вы можете использовать Механизировать для отправки форм и авторизации на сайте: http://wwwsearch.sourceforge.net/mechanize/