Я ищу какую-то помощь для очистки www.mobile.de, пока я получаю «Доступ запрещен». Обычный паук приводит к прикрепленной картинке. До сих пор я пробовал / распознавал: я не заблокирован, так как я могу открыть страницу в Firefox / Chrome
- Я разрешил куки
- Я использовал тот же заголовок, что и в настоящее время Firefox
- Я использовал реферер
- Я включил / отключил "Obey robots.txt"
- Я использовал Spla sh для активации / рендеринга Javascript
Итак, сейчас я не могу сделать вывод, как страница обнаруживает, что моя программа является ботом и как этого избежать.
https://ibb.co/7RsMkM3