Scrapy - Использование заголовка Content-Length в запросе

Question

Эта - это страница, которую я пытаюсь сканировать, а эта - это запрос AJAX, который извлекает данные.

Я создал такой же запрос AJAX с тем жеЗаголовки и запрос полезной нагрузки.Запрос не завершается с ошибкой, но он получает почти пустой JSON, в котором нет данных.

Ответом на запрос AJAX является файл JSON, и один из ключей имеет другой JSON в виде строки.Поскольку вывод большой, я подумал, что проблема может быть связана с заголовком Content-Length.Когда я использую заголовок Content-Length, запрос завершается с 400 Bad Request, а когда я его не использую, запрос не получает никаких данных.

Как мне получить действительный запросс этого URL?

class MySpider(CrawlSpider):

    name = 'myspider'

    start_urls = [
        'https://www.propertyqueen.com.my/Search/SearchPropertyMarker'
    ]

    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Host': 'www.propertyqueen.com.my',
        'Origin': 'https://www.propertyqueen.com.my',
        #'Content-Length': 689,
        'X-Requested-With': 'XMLHttpRequest',
        'Content-Type': 'application/json; charset=UTF-8',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
        'Referer': 'https://www.propertyqueen.com.my/for-sale?searchtext=',
        'Cookie': '_ga=GA1.3.513681266.1562266208; ASP.NET_SessionId=utadmp0lcxiobehzff5xpzyl; _gid=GA1.3.1978049576.1562853910; _gat=1',
    }

    payload = '{"SearchTextDisplay":"","SearchText":"","PropertyName":null,"State":"","City":"","PriceMin":50,"PriceMax":1000000,"BuildUpAreaMin":50,"BuildUpAreaMax":200000,"LandAreaMin":0,"LandAreaMax":1000000000000,"CosfMin":200,"CosfMax":1200,"PropertyFor":"ForSale","ListType":"","PropertyType":"-1","Bedroom":-1,"Bathroom":-1,"Carparking":-1,"Finishing":"-1","Furnishing":null,"Tenure":"-1","PropertyAge":"-1","FloorLebel":"-1","PageNo":1,"PageSize":10,"OpenTab":"","MinLat":0,"MaxLat":0,"MinLng":0,"MaxLng":0,"SortBy":"-1","zoom":0,"like":false,"suggestionrequired":false,"latitude":0,"longitude":0,"LandTitle":null,"CompletionYear":null,"TotalLotsUnit":null,"RentType":null,"PreferredTenant":null}'

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(
                url=url,
                method='POST',
                headers=self.headers,
                body=self.payload,
                callback=self.parse_items
            )

    def parse_items(self, response):
        print response.text.encode('utf-8')

Answer 1

Немного переделал паука, и это дает результаты для меня.

from scrapy.spiders import Spider
from scrapy import Request


class MySpider(Spider):

    name = 'myspider'

    start_urls = [
        'https://www.propertyqueen.com.my/Search/SearchPropertyMarker'
    ]

    headers = {
        'Origin': 'https://www.propertyqueen.com.my',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'en-GB,en;q=0.9,nl-BE;q=0.8,nl;q=0.7,ro-RO;q=0.6,ro;q=0.5,en-US;q=0.4',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
        'Content-Type': 'application/json; charset=UTF-8',
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'X-Requested-With': 'XMLHttpRequest',
        'Referer': 'https://www.propertyqueen.com.my/for-sale',
    }

    payload = '{"SearchTextDisplay":"","SearchText":"","PropertyName":null,"State":"","City":"","PriceMin":50000,"PriceMax":100000000,"BuildUpAreaMin":50,"BuildUpAreaMax":200000,"LandAreaMin":0,"LandAreaMax":1000000000000,"CosfMin":200,"CosfMax":1200,"PropertyFor":"ForSale","ListType":"","PropertyType":"-1","Bedroom":-1,"Bathroom":-1,"Carparking":-1,"Finishing":"-1","Furnishing":null,"Tenure":"-1","PropertyAge":"-1","FloorLebel":"-1","PageNo":1,"PageSize":10,"OpenTab":"","MinLat":0,"MaxLat":0,"MinLng":0,"MaxLng":0,"SortBy":"-1","zoom":0,"like":false,"suggestionrequired":false,"latitude":0,"longitude":0,"LandTitle":null,"CompletionYear":null,"TotalLotsUnit":null,"RentType":null,"PreferredTenant":null}'

    def start_requests(self):
        for url in self.start_urls:
            yield Request(
                url=url,
                method='POST',
                headers=self.headers,
                body=self.payload,
                callback=self.parse_items
            )

    def parse_items(self, response):
        print response.text.encode('utf-8')

Я использовал обычный Spider вместо CrawlSpider и оставил «cookie» в заголовках.