Scrapy перенаправлен со ссылки продукта на очень странный домен

Question

После тестирования моего краулера со мной случилось что-то странное (по крайней мере, для меня это странно)

Меня перенаправили на http://www.pangea.nl Этот сайт имеет только желтый экран с красной строкой «pangea». ..

Домен, который я хотел просканировать https://www.duif.nl

Вывод моей консоли нажми на меня

Мне сейчас немного страшно.

Answer 1

Не глядя на ваш код, трудно точно сказать, почему вы попали на эту страницу. Однако просканированная вами веб-страница: https://www.duif.nl/product/mirror-yeu-brown

имеет ссылку на этот веб-сайт. Вы можете просмотреть его, если посмотрите на источник страницы: view-source: https://www.duif.nl/product/mirror-yeu-brown

Ссылка также видна в нижнем колонтитуле страницы при просмотре на мобильном устройстве. :

---

You could easily avoid this page by adding разрешенные домены в настройках вашего паука.

allowed_domains = ["duif.nl"]