Scrapy - Получить токен аутентификации из ответа скрипта javascript

Question

Мне нужна помощь по этому конкретному сценарию.

Сценарий

1. Звонящий по сайту

http://www.example.com/index.php

Я могу получить эту информацию из <script> tag

https://www.example.com/anotherpage.php?key=ABCDFG

используя ключ, я должен вызвать эту конечную точку

https://www.example.com/login.php?key=ABCD

для получения SessionID, который хранится в ответе javascript

-- omitted

private._sessID='MYSESSIONID';

-- omitted

В конце, используя этотsessionId и выполняя правильные действия POST, я могу перемещаться по всем нужным мне страницам.

Моя тупиковая ситуация

Я могу смоделировать все шаги, используя scrapy shell с помощью regEx (и все работает нормально), но я не знаю, как управлять этими шагами внутри паука-скрапа перед началом извлечения данных.

Может кто-нибудь мне помочь?

Answer 1

Вам необходимо начать с базового URL-адреса http://www.example.com/index.php, вызвав его в методе запроса на запуск, записать его обратный вызов и извлечь информацию из другой конечной точки и перенести этот результат в другой обратный вызов, а затем вы можете начать процесс отмены.