Scrapy FormRequest расшифровка \\ u0022 - PullRequest
Новая
       23

Scrapy FormRequest расшифровка \\ u0022

0 голосов
/ 16 марта 2020

Я пытаюсь удалить этот вид сайта .

Ответ Json выглядит как Unicode с "\ u0022" вместо кавычки .

Я видел некоторые темы и нашел начало ответа, но если я использую метод декодирования, мне придется обрабатывать строковый ответ, так что разбирать его не очень удобно. 

from scrapy.http import FormRequest
import scrapy
import json

class MySpider(scrapy.Spider):
  name = 'expert'

#custom_settings={ 'FEED_URI': "export/%(time)s.csv",
#FEED_FORMAT': 'csv'}

def start_requests(self):
    url = "https://www.expertsantevisuelle.com/findOpticians"
    frmdata = {"user_position[lat]": "50.62925", "user_position[lng]":"3.057256"}
    headers = {"charset":"UTF-8", 
               "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8", 
               "Accept-Encoding":"gzip, deflate, br",
               "X-Requested-With": "XMLHttpRequest",
               }
    return [scrapy.FormRequest(url,
                               formdata= frmdata,
                               callback=self.parse,
                               headers = headers)]

def parse(self, response):
    data = json.loads(response.body.decode())

    print ('-------------------------')
    print (type(data))
    print ('-------------------------')

Знаете ли вы лучший способ разобрать этот JSON ответ?

...