Загрузка текстовых файлов только с помощью wget - PullRequest
Новая
       28

Загрузка текстовых файлов только с помощью wget

0 голосов
/ 20 декабря 2018

Используя wget возможно ли сделать паук хостом для файла определенного типа?Я архивирую некоторые документы с FTP, и мне нужно, чтобы он сканировал весь хост, загружая только .txt файлы.

Я пытался так: 

wget mysite.com/ftplist --config=./.wgetrc

С помощьюследующий .wgetrc: 

accept = txt
check_certificate = off
connect_timeout = 3
cookies = off
dns_cache = off
follow_ftp = on
logfile = amz.log
max_redirect = 3
no_clobber = on
recursive = on
save_headers = on

Это вызовет mysite.com/ftplist.Эта страница содержит ftp:// URL-адресов в списке.wget отправляет запрос на эту страницу, но не может продолжить работу и, похоже, останавливается на этой странице.

Вот amz.log

Saving to: ‘mysite.com/ftplinks/index.html.tmp’

 0K .......... .......... .......... .......... ..........  656K
50K .......... .......... .......... .......... ..........  741K
100K .......... .......... .......... .......... .......... 1.12M
150K .......... .......... .......... .......... ..........  975K
200K .......... .......... .......... .......... ..........  935K
250K .......... .......... .......... .......... ..........  835K
300K .......... .......... .......... .......... ..........  870K
350K .......... .......... .......... .......... .......... 1.07M
400K .......... .......... .......... .......                907K=0.5s

2018-12-20 17:55:54 (881 KB/s) - ‘mysite.com/ftplinks/index.html.tmp’ saved [447555]

Removing mysite.com/ftplinks/index.html.tmp since it should be rejected.

Я что-то упустил?

...