Я собираюсь загрузить определенные папки с сайта с помощью wget recursive:
wget --recursive http://chartify.top/charts/us/0-all-genres -U "Mozilla/5.0 ..." --wait=10 -Pchartify --no-parent chartify.top/charts/
, что означает получение всех других связанных с / us / стран диаграмм, таких как http://chartify.top/charts/it/0-all-genres
Вы можете увидеть соответствующие ссылки в левом столбце под блоком жанров. Некоторые из них являются случайными / прерывателями, но другие являются / charts / COUNTRY-CODE, который явно находится в / charts / и передается как -no-parent.
Но, как ни странно, wget получает только / chart / us / * pages.
Может ли это быть после следующего?
--2020-03-28 09:45:55-- http://chartify.top/charts/
Reusing existing connection to chartify.top:80.
HTTP request sent, awaiting response... 404 Not Found
2020-03-28 09:45:55 ERROR 404: Not Found.
FINISHED --2020-03-28 09:45:55
Как избежать этого прекращения?