Scrapy ничего не возвращает на 400 ошибка при соскобе https://www.watsons.com.sg/ - PullRequest
Новая
       49

Scrapy ничего не возвращает на 400 ошибка при соскобе https://www.watsons.com.sg/

0 голосов
/ 11 апреля 2020

Привет. Я пытаюсь очистить содержимое от https://www.watsons.com.sg/. Протестировал его с помощью Scrapy Shell и ПО Postman (все заголовки запросов были заполнены на основе того, что я вижу из функции inspect в браузере Chrome). По некоторым неизвестным причинам тело ответа не имеет реального содержания, кроме: 

*<body>
    <div class="nojavascript alert alert-error">
        <p>The site requires JavaScript to be enabled! The browser you're using doesn't support JavaScript, or has
            JavaScript turned off. <br>Try again with a browser that has JavaScript turned on. <a
                href="https://www.enable-javascript.com/" target="_blank">Learn More</a></p>
    </div>
</body>*

Интересно, есть ли способ обойти эту проблему? Любые предложения приветствуются. Спасибо.

...