Организация экспорта CSV с помощью Scrapy

Question

Для экспорта моих данных в файл CSV, который я сейчас использую (в основном потому, что я никогда не понимал конвейеры так хорошо):

custom_settings = {

    'FEED_FORMAT': 'csv',
    'FEED_URI' : 'datosAmazon.csv'

}

Эти пользовательские настройки находятся внутри моего паука.

Прямо сейчас я собираю разные категории товаров, например ноутбуки и мобильные телефоны.

Проблема в том, что, когда я проверяю свои данные, вещи не организованы, возможно, появляется ноутбук, а затемсотовый телефон, затем 2 ноутбука, мобильный телефон и т. д.

В настоящее время я разбираюсь в разных категориях

def start_requests(self):

    keywords = ['laptop', 'cellphone']

    for keyword in keywords:

        yield Request(self.search_url.format(keyword))

Есть ли способ для более организованной передачи данных?(2 файла были бы еще лучше) или простое конвейерное решение.

Answer 1

Нет единственного способа настройки для достижения желаемого.

Тем не менее, экспорт в несколько файлов из пользовательского конвейера довольно прост:

• Создание несколькихэкспортеры (scrapy.exporters.CSVItemExporter) в методе open_spider (вероятно, хранят их в виде слова)
• Выберите правильный экспортер (на основе элемента) в методе process_item и вызовите его export_item
• Закройте файлы методом close_spider

Не забудьте активировать свой конвейер:)