Я хочу, чтобы Curl подождал на веб-сайте несколько секунд, а затем сохранил страницу в файл. Или как я могу установить время ожидания для lynx или curl?
Когда я сканирую URL-адреса, мой паук обнаружил какой-то URL-адрес, который они возвращают 503, а затем перенаправляют на следующую страницу. Я знаю, что мы можем установить URL-адрес перенаправления, но URL-адрес перенаправления и исходный URL-адрес совпадают.
Теперь я могу исправить свою проблему с помощью этого решения: для curl и lynx я установил время ожидания до переходит на перенаправленную страницу. Кроме того, я обнаружил основную проблему: Cloudflare возвращает нам 503 перенаправления, и это против запроса бота. Кроме того, я использую модуль from cloudflare-scrape, но у меня есть проблема , и ее еще никто не исправил.
Но я не нашел ни одного примера этой проблемы в Google или Stackoverflow.