Scrap разрешить все домены

Question

Я видел эту запись, чтобы заставить scrapy сканировать любой сайт без ограничения разрешенных доменов.

Есть ли лучший способ сделать это, например, использовать регулярное выражение в переменной разрешенных доменов, например, -

allowed_domains = ["*"]

Я надеюсь, что есть и другой способ, кроме как взломать Scrap Framework для этого.

Answer 1

Не устанавливать разрешенные_домены вообще.

Посмотрите на функцию get_host_regex () в этом файле scopy:

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

Answer 2

Вы должны определить внешнее промежуточное ПО, которое является встроенным промежуточным программным обеспечением для пауков в scrapy. для получения дополнительной информации http://doc.scrapy.org/en/latest/topics/spider-middleware.html