Предположим, у меня есть код, где я запускаю сканер scrapy с python.
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
data = str(self.prothom_date_lineedit.text())
process.crawl(ArticleCommentsSpider, data)
self.statusBar.showMessage("Scraping from prothom alo")
process.start() # this starts the crawling. But I want to save the json file to a file.
Как и в командной строке, я всегда использую scrapy crawl <proj_name> -o out.json
.
Как мне использовать это-o out.json
в питоне?