URL-адреса уже удобно размещены в текстовом файле, по одной строке на URL, так что это, вероятно, тривиальный curl / wget / LWP с одной строкой Кто-нибудь хочет поделиться таким?
С помощью LWP вы можете сделать это (перенаправить вывод в файл, если хотите)
linux-t77m$ cat urls http://google.com http://stackoverflow.com http://yahoo.com linux-t77m$ cat urls | while read i ;do echo -n $i" "; lwp-request $i -sd; done http://google.com 200 OK http://stackoverflow.com 200 OK http://yahoo.com 200 OK
Самым быстрым способом (например, ускорением получения результатов) было бы, конечно, запустить процессы параллельно.