scrapy crawl не работает в MacOS 10.15.6 - PullRequest
0 голосов
/ 02 августа 2020

Я пишу парсер для веб-сайта, используя scrapy, но получаю несколько ошибок.

Вот что я делаю -

  • Создал виртуальную среду
  • Пытался установить scrapy
  • При установке записок возникла следующая ошибка -
    **ERROR: Command errored out with exit status 1:**
     command: /Users/arif/newcoderProjects/scrape/ScrapProj/bin/python3 -u -c ‘import sys, setuptools, tokenize; sys.argv[0] = ‘”’”’/private/var/folders/p0/42wg04b16q794pj9b67zxx340000gn/T/pip-install-qavbn6kl/Twisted/setup.py’”’”’; __file__=‘”’”’/private/var/folders/p0/42wg04b16q794pj9b67zxx340000gn/T/pip-install-qavbn6kl/Twisted/setup.py’”’”’;f=getattr(tokenize, ‘”’”’open’”’”’, open)(__file__);code=f.read().replace(‘”’”’\r\n’”’”’, ‘”’”’\n’”’”’);f.close();exec(compile(code, __file__, ‘”’”’exec’”’”’))’ install —record /private/var/folders/p0/42wg04b16q794pj9b67zxx340000gn/T/pip-record-n45b36ca/install-record.txt --single-version-externally-managed --compile --install-headers /Users/arif/newcoderProjects/scrape/ScrapProj/include/site/python3.8/Twisted
         cwd: /private/var/folders/p0/42wg04b16q794pj9b67zxx340000gn/T/pip-install-qavbn6kl/Twisted/
  • Я считал, что он установлен, и попытался запустить scrapy crawl xyz и получил ошибку: bash: scrapy: command not found

Как исправить эту ошибку? У меня также есть проблема в PATH, может быть, это проблема, она описана здесь -

1 Ответ

1 голос
/ 02 августа 2020

Оказывается, проблема была в моем PATH, и из-за этого при установке scrapy не было настроено что-то под названием Twisted. После исправления PATH работает pip install scrapy.

...