выскабливание ошибки концентратора Python 2.7 при развертывании - PullRequest
0 голосов
/ 27 октября 2019

Я написал несколько пауков, которые я пытаюсь развернуть на очищающем узле. Я сделал:

shub login
shub deploy

Я предполагаю, что ошибка ниже происходит, потому что мой паук написан на Python 3.7.3, а центр скребков использует Python 2.7. Есть ли способ развернуть его как есть, или мне нужно преобразовать код в «run» python 2.7?

Примечание: ошибка в print (которую я могу легко удалить), но я делаюво многих случаях используйте f"{}" при заполнении очищенных предметов.

Результирующая ошибка:

    Deploying to Scrapy Cloud project "55555"
    Deploy log last 30 lines:
        _run(args, settings)
      File "/usr/local/lib/python2.7/site-packages/sh_scrapy/crawl.py", line 103, in _run
        _run_scrapy(args, settings)
      File "/usr/local/lib/python2.7/site-packages/sh_scrapy/crawl.py", line 111, in _run_scrapy
        execute(settings=settings)
      File "/usr/local/lib/python2.7/site-packages/scrapy/cmdline.py", line 149, in execute
        cmd.crawler_process = CrawlerProcess(settings)
      File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 251, in __init__
        super(CrawlerProcess, self).__init__(settings)
      File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 137, in __init__
        self.spider_loader = _get_spider_loader(settings)
      File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 338, in _get_spider_loader
        return loader_cls.from_settings(settings.frozencopy())
      File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 61, in from_settings
        return cls(settings)
      File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 25, in __init__
        self._load_all_spiders()
      File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 47, in _load_all_spiders
        for module in walk_modules(name):
      File "/usr/local/lib/python2.7/site-packages/scrapy/utils/misc.py", line 71, in walk_modules
        submod = import_module(fullpath)
      File "/usr/local/lib/python2.7/importlib/__init__.py", line 37, in import_module
        __import__(name)
      File "/app/__main__.egg/test/spiders/example.py", line 33
        print(f"prods:\t{temp}")

1 Ответ

0 голосов
/ 29 октября 2019

Установите shub в вашей виртуальной среде (pip install shub), чтобы shub использовал тот же интерпретатор Python, что и ваш паук, и повторите попытку.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...