Первое, что я бы попытался сделать, чтобы протестировать определенную веб-страницу, если она может быть очищена или нет, - это запустить ее с scrapy shell, затем я посмотрю ответ обратно view(response), поэтому все, что возвращается вэтот ответ можно отменить.