Scrapy CSV экспорт без пустых строк

Question

У меня есть следующий код скрапы:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class AliSpider(CrawlSpider):
    name = "alibot"
    allowed_domains = ["alibaba.com"]
    start_urls = {
        'http://www.alibaba.com/catalog/power-banks_cid100009648',
    }

    rules = (Rule(LinkExtractor(allow=('product-detail')), callback = 'parse_page', follow = True),)

    def parse_page(self,response):
        yield {'URL':response.url}

Когда я запускаю scrapy crawl alibot -o data.csv, он сохраняет URL в файле CSV. Я не хочу пустых строк между двумя значениями. Я мог бы удалить это с Excel, но это становится утомительным, когда это большие данные. Я не хочу пустых строк между двумя значениями, потому что другой код scrapy импортирует этот CSV-файл и извлекает данные из каждой ссылки. Если он находит пустую строку, он останавливается там, чего я не хочу. Как я могу это сделать? Спасибо.

data.csv ::

URL

http://www.alibaba.com/product-detail/mini-portable-qi-wireless-phone-charging_60793204715.html?s=p

http://www.alibaba.com/product-detail/New-Portable-Power-Bank-4000mah-Slim_60445623561.html

http://www.alibaba.com/product-detail/100W-40800mah-portable-power-bank-station_60696475188.html

http://www.alibaba.com/product-detail/Portable-universal-solar-charger-solar-power_60230498369.html

http://www.alibaba.com/product-detail/HE-M19-Hand-Warmer-Power-Bank_60694294192.html

Answer 1

хорошо, эти сообщения помогли мне: Не удается избавиться от пустых строк в выводе csv . Сделайте эти изменения в файле setting.py.

FEED_EXPORTERS = {
    'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
} 

Добавить вставьте файл exporters.py в папку паука, где находится файл __init__. и bam, выходной файл не содержит пустых строк.