wget список файлов с указанным местом назначения

Question

У меня есть файл .txt с кучей URL-адресов (около 2000). Каждая строка содержит URL-адрес символа табуляции и местное назначение. Примерно так

http://www.example.com/file/1/2/3   d:\download\1\2\3\download.txt
...
...

Есть ли способ использовать wget для автоматизации этого процесса? Спасибо

Answer 1

Если у вас есть файл с URL-адресом и целевым файлом, разделенными вкладками, вы можете сделать следующее:

Допустим, файл выглядит следующим образом:

http://abcdef1.com  file1.txt
http://abcdef2.com  file2.txt
http://abcdef3.com  file3.txt
http://abcdef4.com  file4.txt
...

Тогда вы можете используйте следующий скрипт bash (если вы bash shell):

 #!/bin/bash

while IFS= read  -r line
do
    if [[ ! -z $line ]]; then
        url=$(echo $line | cut -f1)
        dest=$(echo $line | cut -f2)
        wget $url -O "${dest}"
    fi
done <<(cat urls.txt)

Если ваш файл urls.txt будет содержать URL-адреса, разделенные построчно, вы можете просто использовать

wget -i urls.txt