Scrapy - Оставить поле предмета в конвейере?

Question

Итак, у меня есть поле item['html'], которое необходимо для MyExamplePipeline, но после обработки его не нужно сохранять в базе данных с i.e, MongoDBPipeline. Есть ли какой-нибудь способ в скрапе просто уронить поле html и оставить остальную часть предмета? Это необходимо для передачи страницы html от паука к конвейеру, но я не могу понять, как ее отбросить. Я посмотрел в этом ТАКом посте, в котором упоминалось использование FEED_EXPORT_FIELDS ИЛИ fields_to_export , но проблема в том, что я не хочу использовать экспортер элементов, я просто хочу для подачи предмета в следующий MongoDBPipeline. Есть ли способ сделать это в Scrapy? Спасибо!

Answer 1

Вы можете легко это сделать. В вашем MongoDBPipeline вам нужно сделать что-то вроде ниже

del item['html']

Если это влияет на элемент в другом конвейере, используйте copy.deepcopy и создайте копию объекта элемента, а затем удалите html перед вставкой в ​​mongodb