wget все файлы из папки пропустить первые 10000 файлов или около того - PullRequest
1 голос
/ 16 марта 2012

Я передаю файлы из папки на одном сервере на другой, и я использую для этого wget.Но проблема в том, что wget завершается, и когда я снова запускаю команду, она запускается с самого первого файла, хотя я использую -nc, чтобы пропустить существующие файлы, но все равно он пересекает все файлы, а затем пропускает те файлы, которые существуют, так что это требует слишком много времени.много времени для пропуска файлов.

Я хочу знать, есть ли способ заставить wget начать загрузку непосредственно с нового файла вместо проверки каждого файла сверху.

Я надеюсь, что у меня естьразъяснил мой вопросИзвините, если не смог.

Это команда, которую я использую: wget -H -r --level = 1 -k -p -nc http://www.example.com/images/

1 Ответ

0 голосов
/ 23 марта 2012

Вы можете попробовать использовать список отклонений, чтобы пропустить уже загруженные файлы.

Если все ваши файлы находятся в одном каталоге, это может быть так просто:

wget -R "`ls -1 | tr "\n" ,`" <your own options>

Я не уверен, что произойдет с частичной загрузкой.

...