Как я могу вручную подтвердить подлинность перед выполнением scrapy?

Question

Я хочу очистить веб-страницу, на которой используется нелепое количество проверок капчи, прежде чем я смогу войти в систему (например, более 20 последовательных вызовов).

Как я могу войти, решив капчу, с помощьюмои физические руки, то есть не с Selenium и т.д.Я попытался найти код, который делает то же самое в документации по Scrapy, учебниках и веб-поиске, и ничего не нашел.

Обязательный код, который не выполняет то, что я спрашиваю, как это сделать:

import scrapy

class BadSpider(scrapy.Spider):
    name = "bad"

    def start_requests(self):
        [...]

    def parse(self, response):
        if (response.url.endswith('/login')):
            print('!!!!! I have no idea what to do here!!!!')
        else:
            [...]

Я хочу, чтобы он запустился после проверки подлинности вручную.Но вместо этого он запускается, и я не вошел в систему, поэтому я не могу идти дальше.

Answer 1

1. Вы просто авторизуетесь вручную в вашем браузере
2. Затем откройте DevTools вашего браузера
3. Перейдите на вкладку Сеть
4. Повторно загрузите страницу, которую хотите очистить
5. Затем на вкладке Сеть щелкните правой кнопкой мыши первый запрос и найдите Copy as cURL (bash) option
6. Перейдите на https://curl.trillworks.com/ и вставьте свой код
7. Скопируйте заголовки и файлы cookie, и бум готово

PS: Я бы предложил выполнить это действие в Mozilla Firefox, потому что иногда DevTools Chrome выдает неверные результаты в https://curl.trillworks.com/