Wget не загружает PDF-файлы в каталогах

Question

Следующая проблема: я пытаюсь загрузить каталог, содержащий pdf-файлы, и он загружает файловую структуру, некоторые из pdf-файлов, но не идет глубже, чем 2-й каталог, чтобы загрузить pdf-файлы.

Детали (теоретические)

Итак, у меня есть папка1 / папка2 / папка3 (/ папка4 / папка5)

folder1 не содержит PDF-файлов, структура файла, содержащаяся в нем, загружается.

папка 2 содержит другую папку и некоторые PDF-файлы, папки создаются, PDF-файлы загружаются

папка 3 иногда содержит больше папок, которые создаются, но все PDF-файлы, содержащиеся в нем и во вложенных папках, не загружаются.

вот что я использую, чтобы попытаться загрузить все это:

wget -r -l inf --no-remove-listing -np -c -w 3 --no-check-certificate -R "index.html*" -P "target directory" "https://etc./" 

Что я делаю не так?

Answer 1

Решено: -erobots = off было решением.Что странно, так как сайт фактически был командой wget, с которой я не согласился, но все же пытался и имел даже меньший результат, чем с моими собственными командами, в любом случае -erobots = off не был упомянут в их оригинальном коде, так что я решил, что не сталМне это не нужно, но я сделал.