Я нашел эту ветку, потому что у меня возникла именно эта проблема с использованием опции экспорта командной строки scrapy (нашел это в scrapy 0.15.1 Обзор: http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data), "scrapy crawl mininova.org -o scraped_data.json -t json".
Сначала вы должны убедиться, что данные действительно удаляются с сайта (я сделал это, распечатав свои очищенные элементы прямо в окне консоли).
Также убедитесь, что ваш паук анализируетМетод на самом деле возвращает очищенный элемент. Это была глупая ошибка, которую я допустил.
Без дополнительной информации или вашего кода трудно сказать больше. Я новичок в Python и сам пишу, и работаю через иногда запутаннуюдокументы и примеры. Надеюсь, вы не отказались от этого проекта в последние пару месяцев, в противном случае я буду публиковать сообщения для будущих гуглеров.