scrapy работает в командной строке, но не возвышенно - PullRequest
0 голосов
/ 30 ноября 2018

Я использую sublime texteditor3, когда я создаю файлы, на самом деле ничего не делается, когда я запускаю из командной строки, все работает нормально, нужно ли мне устанавливать пакеты на sublime для запуска там или что мне делать? (Яиспользуя python 3.7 на windows)

это код с сайта scrapy

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

я не получаю ошибку, но при запуске в возвышенном не создаются никакие файлы.

1 Ответ

0 голосов
/ 30 ноября 2018

Вы не можете запустить паука непосредственно из возвышенного.

Вам необходимо создать дополнительный файл python с содержимым

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider_name".split())

Измените его рабочий каталог на каталог проекта scrapy, а затем запустите его.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...