Получить источник веб-сайта, который требует после входа в систему

Question

Я не хочу писать сценарий, чтобы получить источник веб-сайта, который требует почтовый вход Мне нужен сценарий оболочки, чтобы сделать это. Я хочу разобрать некоторую информацию. Любая идея, какой язык является лучшим выбором для обработки запроса http и, возможно, куки? Спасибо.

Answer 1

Начиная с программирования оболочки, curl может выполнить POST, чтобы получить источник веб-страницы. - Смотрите опцию -d.

Затем вы можете использовать сценарии оболочки с grep, sed или другими параметрами для анализа результатов.

Более автоматизированным / сложным / сложным является написание веб-программы скребка с использованием Perl, Ruby, pick-your-language

Answer 2

Взгляните на cURL .Сам никогда не использовал его из командной строки, но он может отправлять переменные POST.