Scrapy: Как сохранить статистику сканирования в файл json?

Question

В scrapy 2.0.1 я записываю новые данные в файл json. В конце процесса я хотел бы добавить статистику скрапа. Теперь я знаю, что есть доступная коллекция статистики:

https://docs.scrapy.org/en/latest/topics/stats.html

Таким образом, правильная строка кода может быть такой: stats.get_stats()

В сочетании с:

class ExtensionThatAccessStats(object):

    def __init__(self, stats):
        self.stats = stats

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.stats)

Мой текущий конвейер выглядит так:

class test_pipeline(object):

    file = None

    def open_spider(self, spider):
        self.file = open('data/test.json', 'wb')
        self.exporter = JsonItemExporter(self.file)
        self.exporter.start_exporting()

    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

Я новичок в Python. Как добавить эту функцию, чтобы статистика добавлялась в файл json?