Большое количество страниц, соскребая проблемы

Question

Я пытаюсь получить данные с двухуровневого сайта.Первый уровень содержит несколько тысяч ссылок на второй уровень.Я обнаружил, что это работает только тогда, когда я позволяю очищать только одну страницу верхнего уровня за раз.Когда я пытаюсь убрать больше из них одновременно, я получаю сообщение об ошибке примерно через 40 минут пробега.Я попробовал обе функции file_get_contents () и curl_exec (), но ни одна из них не смогла справиться с этой задачей.Более поздний метод однажды даже не смог выполнить одну задачу.Кажется, скрипт вызывает переполнение памяти.Есть ли лучший способ сделать эту работу?

Answer 1

500 Внутренняя ошибка сервера означает, что это проблема с сервером, а не с клиентом.Это может быть даже целенаправленная политика защиты от роботов для предотвращения именно такого рода очистки, хотя тот факт, что она работает нормально в течение 40 минут, создает впечатление, что это скорее всего просто проблема с емкостью сервера на плохо управляемом сервере.Замедление скорости запросов будет решением, если это так.