Несмотря на то, что HTML Scraping довольно хорошо документирован из того, что я вижу, и я понимаю концепцию и реализацию этого, что является лучшим методом для удаления из контента, который спрятан за формами аутентификации. Я имею в виду удаление содержимого, к которому у меня есть законный доступ, поэтому мне нужен метод автоматической отправки данных для входа.
Все, что я могу придумать, это настроить прокси-сервер, захватить пропускную способность при ручном входе в систему, а затем настроить скрипт, чтобы подделать эту пропускную способность как часть процесса очистки HTML. Что касается языка, то, скорее всего, это будет сделано в Perl.
Кто-нибудь имел опыт с этим, или просто общая мысль?
Редактировать
На этот вопрос ответили до , но с .NET. В то время как он проверяет, как я думаю, что это должно быть сделано, есть ли у кого-нибудь сценарий Perl для этого?