Сканеры, которые сканируют сайты с аутентификацией

Question

Существуют ли сканеры с открытым исходным кодом, которые будут сканировать веб-сайты, для которых требуется авторизация (имя пользователя / пароль) для входа в систему ?? Мне нужно, чтобы он просканировал мой веб-сайт колледжа для индексации документов, представленных на веб-сайте. Любая помощь приветствуется.

Answer 1

Вы можете написать скрипт на основе PHP / libCurl или Ruby / Curb. Аутентификация сайта основана на cookie, а библиотека Curl предоставляет функционал для отправки cookie в вашу программу.

Я не знаю, какой язык вы предпочитаете (PHP или Ruby). Если вы используете Ruby, вы можете написать код ниже

require 'curb'
require 'uri'
curl = Curl::Easy.new
curl.url = 'http://example.com/login/page'
curl.enable_cookies = true
curl.cookiefile = '/tmp/cookie'
curl.cookiejar = '/tmp/cookie'
form_field = URI.encode_www_form('username'=>yourname, 'password'=>yourpwd)
curl.http_post(form_field)

Файл '/ tmp / cookie' используется для хранения и чтения куки, как в браузере. Cookie делает возможной аутентификацию.

Поле «form_field» содержит имя пользователя и пароль для веб-сайта, но для этого необходимо ввести некоторые другие поля в зависимости от веб-сайта. Вам следует взломать форму входа на веб-сайт, чтобы узнать, какие поля должны быть размещены на сайте.

Answer 2

Ничего из того, что я знаю, и если бы они были, ваш системный администратор, вероятно, не допустил бы этого.

Вы можете посмотреть пример базового сканера и сделать это самостоятельно ...