сайт ведет себя норадно при доступе через браузер, но проблема перенаправления возникает при доступе к сайту через ботов. Я использую Scrapy Python Framework для написания ботов, а также использую прокси-сервисы Scrapy-Crawlera, но некоторые сайты перенаправляют бесконечно. Если я использую handle_httpstatus_list = [302] или dont_redirect = True, я получу ответ как
Объект перемещен сюда.
Я надеюсь на какие-либо предложения или ответы о том, почему такое поведение происходит на определенных сайтах?