Запланированная загрузка файлов с нескольких URL-адресов - PullRequest
Новая
       175

Запланированная загрузка файлов с нескольких URL-адресов

0 голосов
/ 04 августа 2020

Раз в месяц моей команде нужно go обращаться к нескольким источникам и загружать различную документацию. Моя цель - найти инструмент или создать сценарий, который мог бы по расписанию обращаться к нескольким источникам, загружать самый последний документ и перезаписывать предыдущую копию.

Как мои python навыки довольно ржавые, я надеюсь, что есть что-то, что уже существует, что я могу хотя бы использовать в качестве отправной точки. Если нет, я был бы очень признателен за какое-нибудь направление в качестве отправной точки. Кажется, что это можно сделать с помощью Python через запросы?

1 Ответ

1 голос
/ 04 августа 2020

Одна строка для каждого документа / URL, запускается из crontab или аналогичного. Будет условно загружать URL-адрес, если на сервере установлена ​​более новая версия ресурса, чем локальная: 

curl --remote-name 
  --time-cond file.doc 
  https://example.com/p/file.doc

Если у вас curl 7.68.0 или новее, вы даже можете выполнять условия etag, которые заставляют его работать взаимозависимо времени: 

curl --remote-name 
  --etag-compare etags.txt 
  --etag-save etags.txt 
  https://example.com/p/file.doc
...