Имя 'MyItemName' не определено - Имя элемента Scrapy - PullRequest
Новая
       28

Имя 'MyItemName' не определено - Имя элемента Scrapy

0 голосов
/ 11 июня 2018

Привет, ребята,

Я пытаюсь получить данные с веб-сайта, я уже делал несколько проектов с использованием scrapy, но я не знаю, как это исправить NameError ...

Мой паук : crawlingVacature.py 

import scrapy
from scrapy.http.request import Request
from scrapy import Spider

from crawlVacature.items import CrawlvacatureItem


class CrawlingvacatureSpider(scrapy.Spider):
    name = 'crawlingVacature'
    allowed_domains = ['vacature.com']
    start_urls = ['https://www.vacature.com/nl-be/jobs/zoeken/BI/1']

    def parse(self,response):
        all_links = response.xpath('//div[@class="search-vacancies__prerendered-results"]/a/@href').extract()
        for link in all_links:
            yield Request('https://www.vacature.com/' + link, callback=self.parseAnnonce)

    def parseAnnonce(self,response):
         item = CrawlvacatureItem()
         item[titre] = response.css('h1::text').extract()
         item[corpus] = response.xpath('//div[@class="wrapper__content"]/section').css("div")[-1].xpath('//dl/dd/a/text()').extract()
         yield item

Файл моего элемента : items.py 

import scrapy


class CrawlvacatureItem(scrapy.Item):
    titre = scrapy.Field()
    corpus = scrapy.Field()

Мой файл конвейера : pipelines.py 

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('items.js', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

И, конечно, в моем файле settings.py было следующее: 

ITEM_PIPELINES = {
    'crawlVacature.pipelines.JsonWriterPipeline': 800,
}

И я запускаю свой проект с помощью этой команды: 

>>>scrapy crawl crawlingVacature

И об ошибке у меня есть: 

NameError: name 'titre' is not defined

или 

NameError: name 'corpus' is not defined

Заранее спасибоза вашу помощь: -)

1 Ответ

0 голосов
/ 11 июня 2018

Чтобы определить общий формат выходных данных, Scrapy предоставляет класс Item.Объекты item - это простые контейнеры, используемые для сбора очищенных данных.Они предоставляют похожий на словарь API с удобным синтаксисом для объявления своих доступных полей.

Вы должны использовать строки в качестве ключей вместо переменных 

def parseAnnonce(self,response):
     item = CrawlvacatureItem()
     item['titre'] = response.css('h1::text').extract()
     item['corpus'] = response.xpath('//div[@class="wrapper__content"]/section').css("div")[-1].xpath('//dl/dd/a/text()').extract()
     yield item
...