Попытка включить Scrapy в проект для запуска команды Crawl - PullRequest
Новая
       9

Попытка включить Scrapy в проект для запуска команды Crawl

8 голосов
/ 14 февраля 2011

Я новичок в Python и Scrapy и прохожу учебник по Scrapy. Я смог создать свой проект, используя интерфейс DOS и набрав: 

scrapy startproject dmoz

Учебник позже ссылается на команду Crawl: 

scrapy crawl dmoz.org

Но каждый раз, когда я пытаюсь запустить это, я получаю сообщение, что это недопустимая команда. Оглядываясь дальше, мне кажется, что я должен быть внутри проекта, и это то, что я не могу понять. Я попытался изменить каталоги в папку "dmoz", которую я создал в startproject, но это вообще не распознает Scrapy.

Я уверен, что упускаю что-то очевидное, и я надеюсь, что кто-то может указать на это.

Ответы [ 2 ]

8 голосов
/ 16 февраля 2011

Вы должны выполнить его в папке «startproject». У вас будут другие команды, если он найдет ваш файл scrapy.cfg. Вы можете увидеть разницу здесь: 

$ scrapy startproject bar
$ cd bar/
$ ls
bar  scrapy.cfg
$ scrapy
Scrapy 0.12.0.2536 - project: bar

Usage:
  scrapy <command> [options] [args]

Available commands:
  crawl         Start crawling from a spider or URL
  deploy        Deploy project in Scrapyd target
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  queue         Deprecated command. See Scrapyd documentation.
  runserver     Deprecated command. Use 'server' command instead
  runspider     Run a self-contained spider (without creating a project)
  server        Start Scrapyd server for this project
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command


$ cd ..
$ scrapy
Scrapy 0.12.0.2536 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command
2 голосов
/ 13 июля 2011

Переменные среды PATH не установлены.

Вы можете установить переменные среды PATH для Python и Scrapy. Для этого откройте «Свойства системы» («Мой компьютер»> «Свойства»> «Дополнительные параметры системы»), перейдя на вкладку «Дополнительно» инажав кнопку Переменные среды.В новом окне выделите Путь к переменной в окне Системные переменные и добавьте следующие строки, разделенные точками с запятой 

C:\{path to python folder}
C:\{path to python folder}\Scripts

пример

C:\Python27;C:\Python27\Scripts

...