скорлупа не показывает >>> при добавлении второго паука

Question

Только начал работать над проектом Scrapy. Я создал новый проект scrapy, используя следующую команду:

scrapy startproject <projectname>

Внутри папки spiders я создаю свой класс scrapy, в котором есть все логики c для очистки данных. Я использую Scrapy Shell для тестирования.

Когда я создаю первого паука, Scrapy Shell работает нормально. Но при создании второго паука скребковая оболочка не работает. Используя приведенную ниже команду для вызова оболочки scrapy:

scrapy shell <url> 

Я вижу следующее:

[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects 
are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects 
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser

Я ожидаю следующее:

[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects 
are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects 
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
 >>>

>>> отсутствует в последней строке. Есть ли какие-либо конфигурации, которые должны быть добавлены для этого?

Answer 1

Звучит так, будто вы запускаете оболочку изнутри. Запустив scrapy shell <url>, вы фактически не тестируете свой код, вы только запускаете интерактивную оболочку, в которой вы можете, например, проверить выражения XPath или CSS ( см. Документы Scrapy ).

Я думаю, что вы на самом деле пытаетесь сделать, это протестировать и запустить своих пауков ( см. Scrapy docs ). Допустим, например, что вы создали двух пауков с именами «spider1.py» и «spider2.py» внутри вашей папки-паука. В spider1.py вы назначили своему пауку имя name = 'foo'. В spider2.py вы назначили своему пауку имя name = 'bar'. Теперь, чтобы запустить этих пауков, вы можете позвонить scrapy crawl foo, а также scrapy crawl bar.