Как скачать защищенную веб-страницу

Question

Я хочу программно загрузить веб-страницу, для просмотра которой требуется войти в систему. Есть ли вменяемый способ сделать это? Просматривая заголовки HTTP и прочее, я вижу, что имя пользователя / пароль передаются как данные POST, но запрос страницы с этой информацией недостаточно хорош. Я думаю, что куки тоже участвуют, и похоже, что они содержат какие-то зашифрованные данные авторизации.

Есть ли способ подделать это? Язык здесь не так важен, но что-то вроде Perl, которое можно относительно легко запускать в Linux, было бы неплохо. Или, может быть, браузер командной строки может быть сценарий?

Answer 1

Да, вы можете сделать это с помощью инструмента командной строки curl или библиотеки CURL.Вам необходимо выяснить, что должно быть в cookie-файлах, а затем передать их с параметром curl -b или эквивалентным CURL API.

Вы также можете выполнить базовую аутентификацию HTTP через CURL.

Если страница действительно сложная, вам придется выполнить синтаксический анализ HTML или даже интерпретацию JS для предварительного извлечения данных cookie.Это все еще выполнимо, но не только с CURL.

Как общее примечание, все, что может сделать веб-браузер, может быть написано в сценарии.Тьюринг-полнота и все такое.«Неприемлемые» порталы, такие как BlueSocket, - это большая нагрузка;они в основном просто запутанные веб-страницы.Они замедлят тебя, но никогда не смогут остановить - они должны дать тебе ключи, чтобы работать!

Answer 2

Php's CURL сделает это. Также проверьте здесь , подходит ли вам это решение.