Не удается развернуть на ScrapingHub несуществующий SyntaxError: неверный синтаксис - PullRequest
Новая
       92

Не удается развернуть на ScrapingHub несуществующий SyntaxError: неверный синтаксис

0 голосов
/ 28 февраля 2019

У меня есть Scrapy Spider, который отлично работает, если я позвоню: scrapy crawl.Когда я пытаюсь развернуть его на ScrapingHub.com, возникает ошибка SyntaxError, которую я не могу исправить.Я не могу понять, что происходит.В моем коде нет синтаксической ошибки.

Вот мой вывод развертывания: 

    API key is OK, you are logged in now.
omars-MacBook-Pro:airbnb omaromeiri$ shub deploy 377112
Saving project 377112 as default target. You can deploy to it via 'shub deploy' from now on
Saved to /Users/omaromeiri/Documents/Python/Scrapy/airbnb/scrapinghub.yml.
Packing version 1.0
Deploying to Scrapy Cloud project "377112"
Deploy log last 30 lines:
    _run(args, settings)
  File "/usr/local/lib/python2.7/site-packages/sh_scrapy/crawl.py", line 103, in _run
    _run_scrapy(args, settings)
  File "/usr/local/lib/python2.7/site-packages/sh_scrapy/crawl.py", line 111, in _run_scrapy
    execute(settings=settings)
  File "/usr/local/lib/python2.7/site-packages/scrapy/cmdline.py", line 148, in execute
    cmd.crawler_process = CrawlerProcess(settings)
  File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 243, in __init__
    super(CrawlerProcess, self).__init__(settings)
  File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 134, in __init__
    self.spider_loader = _get_spider_loader(settings)
  File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 330, in _get_spider_loader
    return loader_cls.from_settings(settings.frozencopy())
  File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 61, in from_settings
    return cls(settings)
  File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 25, in __init__
    self._load_all_spiders()
  File "/usr/local/lib/python2.7/site-packages/scrapy/spiderloader.py", line 47, in _load_all_spiders
    for module in walk_modules(name):
  File "/usr/local/lib/python2.7/site-packages/scrapy/utils/misc.py", line 71, in walk_modules
    submod = import_module(fullpath)
  File "/usr/local/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
  File "/app/__main__.egg/airbnb/spiders/airbnb_spider.py", line 28
    'Coordinates': f"{accomodation.get('listing').get('lat')},{accomodation.get('listing').get('lng')}",
                                                                                                      ^
SyntaxError: invalid syntax
{"message": "shub-image-info exit code: 1", "details": null, "error": "image_info_error"}

{"status": "error", "message": "Internal error"}
Deploy log location: /var/folders/3f/yyvy83n55tv66fdw10cbb4d80000gn/T/shub_deploy_rx_i_0wr.log
Error: Deploy failed: b'{"status": "error", "message": "Internal error"}'

Ответы [ 2 ]

0 голосов
/ 28 февраля 2019

Чтобы добавить решение в дополнение к ответ Даниэля Роземана , вам необходимо указать среду Python 3 в конфигурации ScrapingHub.После запуска команды shub в вашем проекте должен появиться файл scrapinghub.yml.Обновите его с помощью целевой среды: 

project: 123456 

stacks:
    default: scrapy:1.6-py3

Замените номер проекта своим собственным.А если вам нужна конкретная версия Scrapy в среде Python 3, обратитесь к документации: https://support.scrapinghub.com/support/solutions/articles/22000200387-deploying-python-3-spiders-to-scrapy-cloud

0 голосов
/ 28 февраля 2019

Вы используете синтаксис Python 3.6+, но развертываетесь в среде Python 2.7.

...