Скрипт, который автоматически загружает файлы с указанного URL

Question

Я пытаюсь написать скрипт, который ищет определенные типы MIME на веб-сайте, содержащий ссылки для загрузки (.mp3, .avi, .mpeg), и хочу иметь возможность сканировать этот сайт и затем загружать любые файлы, хранящиеся на нем. Псевдокод для этого скрипта:

Input URL
function search ()
{
    Search URL for matching MIME types and download to dir on my pc
}

Хорошо, это было действительно плохо, но я все еще учусь. Подойдет ли для этого сценарий Perl?

Answer 1

Посмотрите на команду wget. Вот пример команды, которая будет рекурсивно искать на сайте все файлы mp3, avi и mpeg и сохранять их в текущем каталоге:

wget -r -H -nd -N -np -A.mp3,.avi,.mpeg http://www.someurl.com

Вот что означают опции:

-r turns on recursive retrieving
-H Enable spanning across hosts when doing recursive retrieving.
-nd to save all files in a single directory
-N timestamping
-np Do not ever ascend to the parent directory when retrieving recursively.
-A file name suffixes to accept

Вы также можете добавить другие параметры для глубины рекурсии, времени ожидания и т. Д. См. man wget для получения дополнительной информации.

Answer 2

Да, это так.Взгляните на Модуль WWW :: Mechanize .