JSONDecodeError: Ожидаемое значение в scrapy

Question

Я использую скрап json.load (response.body)

и мы нашли JSONDecodeError: Ожидаемое значение: строка 1, столбец 1 (символ 0)

Вот ссылка https://www.magellanprovider.com/ProviderSearchGateway/sessions/52229928/providers.jsonp?start=1&end=100&callback=jQuery112404923709263392255_1547626291787&_=1547626291795

Answer 1

, если вы не заметили, что ваш текст начинается с jQuery112404923709263392255_1547626291787 из-за этой строки, строка не может быть преобразована в json

Попробуйте использовать этот простой regex, чтобы получить строку json, а затем проанализируйте ее до json.loads()

r'\(({.*)\);'    #it caputures anything starts from `{` and ends with `);`

Answer 2

В вашем ответе есть обратный вызов JS. Попробуйте удалить дополнительные переменные из вашего URL-адреса, например https://www.magellanprovider.com/ProviderSearchGateway/sessions/52229928/providers.jsonp?start=1&end=100, или с помощью регулярных выражений вырезать JSON из текста ответа.