Как сканировать веб-сайт, который требует входа, используя scrapy?

Question

Я хочу очистить данные с веб-сайта, который требует входа в систему для доступа к определенной странице, только тогда данные могут быть очищены.

Есть ли способ очистить данные после входа в систему с помощью Scrapy?или если мы можем смоделировать логин?

Примечание: у меня есть учетные данные для входа.

Answer 1

Краткий ответ : Да, вы можете очистить данные после входа в систему.Проверьте форматы данных в scrapy и этот ответ отправьте запрос с использованием scrapy и документация

Длинный ответ : страницы входа являются просто формами.Вы можете получить доступ к этим полям, чтобы заполнить необходимые данные и опубликовать эти данные.Вы можете войти в систему и проверить инструменты разработчика chrome [ctrl + shift + i] , чтобы узнать, какие сетевые вызовы выполняются при нажатии кнопки отправки / входа в систему.Затем вы можете просмотреть сделанный запрос и скопировать его в свой скребок.Вы можете проверить вышеупомянутые ссылки, чтобы прочитать о том, как публиковать данные, и как запросы и ответы работают в scrapy.