как использовать scrapy для симуляции входа в систему через POST-запрос (в кодировке)

Question

Можно ли имитировать вход в систему на сайте, например www.eoddata.com, с помощью scrapy?Веб-сайт использует почтовый запрос для отправки информации для входа.

Answer 1

http://readthedocs.org/docs/scrapy/en/latest/topics/request-response.html?highlight=login#using-formrequest-from-response-to-simulate-a-user-login

Answer 2

Да, но из-за динамического характера формы вам может понадобиться сначала прочитать страницу входа в систему, чтобы получить точное имя полей и любые поля типа CSRF. Вы захотите следовать такой последовательности

1. читать оригинал страницы со своим скребком
2. парсит этот HTML, чтобы получить имя поля имени пользователя, поля пароля и имя / значение любых полей аутентификации типа CSRF
3. отправить POST на URL-адрес входа в систему с полем имени пользователя, установленным на имя пользователя, полем пароля, установленным на пароль, и любые другие поля типа CSRF, захваченные на предыдущем шаге
4. получить куки аутентификации в ответе

Просмотрите имя входа с помощью Firebug, чтобы получить URL-адрес для входа, и посмотрите, являются ли имена и значения полей динамическими или нет.

Answer 3

Кажется, что самой скрапировки недостаточно, для решения проблемы необходим такой инструмент, как wireshark:)