как чистить сайты, на которых есть загрузчики?

Question

Я пытаюсь почистить сайт, который содержит загрузочные экраны. когда я просматриваю веб-сайт, он показывает загрузку ... на секунду, а затем загружается. Но проблема в том, что когда я пытаюсь очистить его, используя scrapy, это ничего не дает (вероятно, из-за этой загрузки). Могу ли я решить проблему, используя scrapy, или я должен использовать другие инструменты? вот ссылка на сайт, если вы хотите увидеть https://www.graana.com/project/601/lotus-lake-towers

Answer 1

Поскольку он отправляет запрос GET для получения информации об объекте, вы должны повторить то же самое в своем коде. (Вы можете наблюдать вызов GET в консоли -> Сеть -> XHR)

    # -*- coding: utf-8 -*-
    import scrapy


    class GranaSpider(scrapy.Spider):
        name = 'grana'
        allowed_domains = 'www.graana.com'
        start_urls = ['https://www.graana.com/api/area/slug/601']

        def parse(self, response):
    #        for url in allurlList:
            scrapy.http.Request(response.url, method='GET' , dont_filter=False)
            print(response.body)
#convert json response to array and save to your storage system

Вывод в формате json, преобразуйте его для вашего удобства.