Сделайте экспорт скрапа в CSV

Question

Я хочу использовать scrapy следующим образом

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' })

process.crawl(my_super_scraper) 
process.start()

Он работает с my_super_scraper, но я не могу понять, как экспортировать в CSV.Я не могу найти его и в документации.

Answer 1

Вам необходимо установить параметры FEED_FORMAT и FEED_URI следующим образом:

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)', 
    'FEED_FORMAT': 'CSV', 
    'FEED_URI': 'file:///tmp/export.csv',
})

process.crawl(my_super_craper)
process.start()

Более подробная информация об экспорте корма здесь https://docs.scrapy.org/en/latest/topics/feed-exports.html

В этом посте показано, как экспортировать в JSONформат: Scrapy process.crawl () для экспорта данных в json