нет модуля с именем scrapy.spider при сканировании с использованием scrapy

Question

У меня есть код scrapy для сканирования сайтов. Мой код такой, как показано ниже.

from scrapy.spider import Spider
from scrapy.selector import Selector

class JustASpider(Spider):
    name = "googlespider"
    allowed_domains=["google.com"]
    start_urls = ["http://www.google.com/search?hl=en&q=search"]


    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath('//title/text()').extract()
        print (sites)
        #for site in sites: (I dont know why you want to loop for extracting the text in the title element)
            #print site.extract()

Когда я запускаю это с помощью $scrapy crawl test.py, я получаю ошибку

from scrapy.spider import Spider
ImportError: No module named 'scrapy.spider'

Я пробую также несколько других примеров, но получаю ту же ошибку для всех.

Answer 1

Это работает для меня:

import scrapy


class JustASpider(scrapy.Spider):
    name = "googlespider"
    allowed_domains=["google.com"]
    start_urls = ["http://www.google.com/search?hl=en&q=search"]

    def parse(self, response):
        sites = response.xpath('//title/text()').extract()
        print (sites)
        #for site in sites: (I dont know why you want to loop for extracting the text in the title element)
            #print site.extract()