Scrapy 307 перенаправляет на ту же страницу

Question

Я пытаюсь удалить сведения о продукте из jabong, и сценарий работает нормально, когда я удаляю один URL, но он перенаправляет на 307, когда я использую более одного URL в запросе на выдачу

я пыталсяличные прокси, пользовательские агенты, отключение куки, включение куки dont_merge

вот что я получаю:

2019-05-20 03:41:01 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (307) to <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.
htm> from <GET https://www.jabong.com/Hangup-Green-Solid-Nehru-Jacket-7282330.htm>

Answer 1

Да, они делают то же самое с Chrome, и это очень вероятно, потому что у вас отключены куки.

Вам нужно будет потратить время на то, чтобы выяснить, какие файлы cookie их интересуют и не нарушает ли использование того же значения cookie анонимность вашего сканирования. Это слишком много времени для ответа SO, но это должно быть просто.