Есть ли программа, которую я могу запустить в терминале, которая выдаст вывод веб-страницы?По сути, я хочу перенаправить вывод (robots.txt) с веб-страницы в текстовый файл.
Wget имеет эту опцию, среди прочего; это выведет страницу на стандартный вывод:
wget -O - http://www.example.com/robots.txt
и это запишет в указанный вами файл:
wget -O /whatever/output/file/you/put/here.txt http://www.example.com/robots.txt
Если вы хотите добавить несколько команд в один файл, вы можете использовать возможности оболочки redirection . Это добавит содержимое страницы в конец указанного файла, сохранив его прежнее содержимое:
wget -O - http://www.example.com/robots.txt >> /home/piskvor/yourfile.txt
Telnet был хорошо известным (хотя теперь, я думаю, забытым) инструментом для просмотра веб-страниц.Основная идея заключается в том, чтобы подключиться к порту http, набрать команду http 1.1 GET, а затем наблюдать результаты на экране.Хорошее объяснение: http://support.microsoft.com/kb/279466
A Поиск Google дает целую кучу больше.
РЕДАКТИРОВАТЬ: удалено постороннее, несвязанное барахло 23 мая 2011