как разобрать строку в паука из другого скрипта

Question

Я новичок в питоне и скрапе. Я запускаю scrapy-ctl.py из другого скрипта Python, используя subprocess module. Но я хочу проанализировать «стартовый URL» для паука из этот скрипт сам. Есть ли возможность разобрать start_urls (которые определяется в скрипте, из которого запускается scrapy-ctl) к пауку? Я буду благодарен за любые предложения или идеи относительно этого .... :)

Заранее благодарен ....

Answer 1

Вы можете переопределить метод start_requests() в своем пауке, чтобы получить начальные запросы (которые по умолчанию генерируются с использованием URL-адресов в атрибуте start_urls).