Это интересный вопрос, и да, scrapy может вам в этом полностью помочь. Есть несколько подходов, которые вы можете использовать, если это только для манипулирования элементами перед тем, как они действительно «возвращают» их (что означает, что это уже вывод), возможно, я бы порекомендовал использовать Загрузчики элементов , которые в основном помогают вам настроитьправила для каждого поля в каждом элементе.
Для фактического отбрасывания элементов с соответствующими правилами я рекомендую вам использовать и Конвейер элементов , который служит в качестве окончательного фильтра перед повторным возвратом элементов вв этом случае вам было бы интересно объединить его с чем-то вроде Цербер , который поможет вам определить схемы всего элемента и в соответствии с этим отбросить или вернуть элемент.