Сканирование через Интернет: сохранение файла Python с -o file.json как utf-8: в выводе отображаются такие символы, как \ u00a9

Question

Использование сканера Scrapy Я пытаюсь извлечь данные из html-страницы и сохранить вывод в виде файла json, используя командную строку:

scrapy crawl Product -o test.json

в своем коде, который я использую

for desc in response.css('div.pdp__description').extract():
            yield {
                'desc' : desc
            }

но он сохраняет данные, используя \ u00a0 и похожие символы, что мне делать?

Answer 1

Установите FEED_EXPORT_ENCODING = 'utf-8' в вашем settings.py.

См. Документацию: https://docs.scrapy.org/en/1.6/topics/feed-exports.html?highlight=FEED_EXPORT_ENCODING#feed-export-encoding