Проблема с опцией -N в wget - PullRequest
3 голосов
/ 11 февраля 2011

Я пытаюсь очистить сайт с помощью wget.Вот моя команда:

wget -t 3 -N -k -r -x

-N означает «не загружать файл, если версия сервера старше локальной версии».Но это не работает.Одни и те же файлы загружаются снова и снова, когда я перезапускаю вышеуказанную операцию очистки, даже если файлы не меняются.

Отчет о многих загруженных страницах:

Отсутствует последний измененный заголовок - отметки времени отключены.

Я попытался удалить несколько веб-сайтов, но все пытались такдалеко дайте эту проблему.

Эта ситуация контролируется удаленным сервером?Они выбирают не так отправить эти заголовки меток времени?Если это так, то, возможно, я мало что могу с этим поделать?

Мне известна опция -NC (без clobber), но это предотвратит перезапись существующего файла, даже если файл сервера новее, что приводит к накоплению устаревших локальных данных.

Спасибо, Дрю

1 Ответ

2 голосов
/ 09 апреля 2011

Переключатель wget -N работает, но многие веб-серверы не отправляют заголовок Last-Modified по разным причинам. Например, динамические страницы (PHP или любая CMS и т. Д.) Должны активно реализовывать функциональность (выяснить, когда контент был последний раз изменен, и отправить заголовок). Некоторые делают, а некоторые нет.

На самом деле другого надежного способа проверить, был ли файл изменен, тоже нет.

...