Я стараюсь не сканировать все URL-адреса, содержащие параметры, поскольку у сайта, который я пытаюсь сканировать, возникают серьезные проблемы с почти бесконечными URL-адресами параметров
Я пытался использовать приведенные ниже правила, чтобы исключить все параметры, но в данный момент ничего не происходит.
rules = (
Rule(LinkExtractor(), callback='parse_item', follow=True),
Rule(LinkExtractor(deny_domains=["?query", "?"])),
)
Я все еще пытаюсь решить это, но любая помощь будет удивительной. Заранее спасибо.