не удалось создать файл json в scrapy

Question

Я пытаюсь сохранить данные в файле json. Я использовал скрап для удаления данных из Интернета.

вот мой код паука.

import scrapy
import json

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com/page/1/']
    start_urls = ['http://quotes.toscrape.com/page/1//']

    def parse(self, response):
        with open('quotes.json', 'a') as f:
            for quote in response.css('div.quote'):
                json.dump({
                     'text' : quote.css('span:text::text').extract_first(),
                     'author': quote.css('small.author::text').extract_first(),
                     'tags': quote.css('div.tags a.tag::text').extract(),
                     }, f)

Когда я выполняю эту команду scrapy crawl quotes, она успешно завершена, но файл json не создается.

Пожалуйста, скажите мне, что мне здесь не хватает.

Answer 1

Вам необходимо добавить дополнительный параметр в вашу команду сканирования, например:

scrapy crawl quotes -o output.json

json будет сохранен в текущей папке, из которой вы выполните вышеуказанную команду.

Answer 2

Если вы хотите сохранить json программно, вы должны использовать Item Pipelines