Я загружаю несколько файлов с помощью curl. Базовый URL для всех файлов такой же, как
https://mydata.gov/daily/2017
Данные в этих каталогах дополнительно сгруппированы по дате и типу файла. Итак, первые данные, которые мне нужны, имеют этот каталог
https://mydata.gov/daily/2017/001/17d/Roger001.gz
Вторые данные
https://mydata.gov/daily/2017/002/17d/Roger002.gz
Мне нужно загрузить до данных за последний день 2017 года, т.е.
https://mydata.gov/daily/2017/365/17d/Roger365.gz
Как я могу использовать curl или любой другой другой аналогичный инструмент для загрузки всех файлов в одну локальную папку, желательно с использованием исходных имен файлов?
используйте for f in {001..365}; do curl https://mydata.gov/daily/2017/"$f"/17d/Roger"$f".gz -o /your-directory/Roger"$f".gz; done в bash терминале. замените your-directory на ваш каталог, в котором вы хотите сохранить файлы.
for f in {001..365}; do curl https://mydata.gov/daily/2017/"$f"/17d/Roger"$f".gz -o /your-directory/Roger"$f".gz; done
your-directory