Создать статический элемент столбца - PullRequest
Новая
       38

Создать статический элемент столбца

0 голосов
/ 31 января 2019

У меня есть простой паук, который ползает по местным некрологам.Код работает отлично, пока я не попытаюсь добавить два статических столбца.Все, что я хочу сделать, это добавить дату, когда я извлек информацию (элемент извлечения) и состояние, в котором она была извлечена (элемент состояния).Это страница с самостоятельной загрузкой, поэтому, когда я добавляю дату извлечения, я получаю только первые 10 результатов (или только первую страницу).Если я добавлю только состояние, я получу только два результата.Когда я удаляю оба, я получаю все 40+ результатов.

Я сделал # строк, которые не работают должным образом:

Файл Item.py: 

import scrapy


class AlItem(scrapy.Item):
    name = scrapy.Field()
    link = scrapy.Field()
    obit = scrapy.Field()
    news = scrapy.Field()
    #pull = scrapy.Field()
    #state = scrapy.Field()

spiderфайл: 

import scrapy
import time
from al.items import AlItem

class AlabamaSpider(scrapy.Spider):
    name = 'alabama'
    allowed_domains = ['legacy.com']
    start_urls = ['http://www.legacy.com/obituaries/annistonstar/browse?type=paid&page=20']

    def parse(self, response):
    name = response.xpath('//a[@class="NonMobile"]/p[@class="obitName"]/text()').extract()
    link = response.xpath('//div[@class="RightColumn"]//a[@class="ObituaryButton"]/@href').extract()
    obit = response.xpath('//div[@class="NameAndLocation"]/p[@class="obitText"]/text()').extract()
    news = response.xpath('//div[@class="PublishedLine publishedLine"]/span/text()').extract()
    #pull = time.strftime("%m/%d/%Y")
    #state = "AL"

    for item in zip(name, link, obit, news): #removed 'pull, state'

        new_item = AlItem()

        new_item['name'] = item[0]
        new_item['link'] = item[1]
        new_item['obit'] = item[2]
        new_item['news'] = item[3]
        #new_item['pull'] = pull
        #new_item["state"] = state

        yield new_item

1 Ответ

0 голосов
/ 31 января 2019

Я объясняю, почему:

  1. если вы вставите сюда for item in zip(name, link, obit, news): pull & state, тогда вы получите число итераций, равное 2 , потому что state = "AL" - строковая переменная.Функция ZIP получает от state два символа и устанавливает итерацию = 2 для всех аргументов в цикле.zip получает наименьшее онемение из аргументов для итерации.как с датой 01.01.2001 - 10 символов(будет итераций равных 10 )

БУДЕТ РАБОТАТЬ: 

`class AlItem(scrapy.Item):
  name = scrapy.Field()
  link = scrapy.Field()
  obit = scrapy.Field()
  news = scrapy.Field()
  pull = scrapy.Field()
  state = scrapy.Field()`

class AlabamaSpider(scrapy.Spider): name = 'alabama' allowed_domains = ['legacy.com'] start_urls = ['http://www.legacy.com/obituaries/annistonstar/browsetype=paid&page=20']

    def parse(self, response):
        name = response.xpath('//a[@class="NonMobile"]/p[@class="obitName"]/text()').extract()
        link = response.xpath('//div[@class="RightColumn"]//a[@class="ObituaryButton"]/@href').extract()
        obit = response.xpath('//div[@class="NameAndLocation"]/p[@class="obitText"]/text()').extract()
        news = response.xpath('//div[@class="PublishedLine publishedLine"]/span/text()').extract()
        pull = time.strftime("%m/%d/%Y")
        state = "AL"

        for item in zip(name, link, obit, news): #removed 'pull, state'

            new_item = AlItem()

            new_item['name'] = item[0]
            new_item['link'] = item[1]
            new_item['obit'] = item[2]
            new_item['news'] = item[3]
            new_item['pull'] = pull
            new_item["state"] = state

            yield new_item
...