Я настроил это задание cron, которое работает для рекурсивной загрузки всего и не заменяет файлы в целевом каталоге, если они не старше, чем на сайте (или другого размера):
* * * * * wget -r -N -c -P /home/user1/ http://SomeURL
(Частота вызова cron была установлена на каждую минуту для моих собственных целей тестирования. Я не планирую запускать ее каждую минуту.)
Я хотел бы знать, как я мог бы изменить это или использовать какую-то другую утилиту, чтобы загружать только файлы с измененной датой в течение последних X дней. Потому что там много файлов, нам нужны только файлы X дней или моложе, и я бы предпочел, чтобы он не загружал все (даже если это произойдет в первый раз).
Я видел, что у curl есть возможность загружать что-то, только если это позже определенной даты, но при загрузке с помощью curl можно загружать только несколько файлов одновременно, если они следуют очень простому шаблону (по крайней мере, это мое понимание ).
Я думал об использовании wget для рекурсивного получения списка файлов, а затем выполнения curl для каждого, но я не смог найти способ получить список из команды wget (через http). У Curl есть способ получить список, но он не является рекурсивным.
Я надеюсь, что есть другая утилита, о которой я не знаю, которая может решить эту задачу.
Спасибо,
Бен