Scrapy: как хранить url_id вместе с просканированными данными - PullRequest
Новая
       15

Scrapy: как хранить url_id вместе с просканированными данными

1 голос
/ 27 марта 2019 
from scrapy import Spider, Request
from selenium import webdriver

class MySpider(Spider):
    name = "my_spider"

    def __init__(self):
        self.browser = webdriver.Chrome(executable_path='E:/chromedriver')
        self.browser.set_page_load_timeout(100)


    def closed(self,spider):
        print("spider closed")
        self.browser.close()

    def start_requests(self):
        start_urls = []
        with open("target_urls.txt", 'r', encoding='utf-8') as f:
            for line in f:
                url_id, url = line.split('\t\t')
                start_urls.append(url)

        for url in start_urls:
            yield Request(url=url, callback=self.parse)

    def parse(self, response):
        yield {
            'target_url': response.url,
            'comments': response.xpath('//div[@class="comments"]//em//text()').extract()
        }

Выше мой код для лечения.Я использую scrapy crawl my_spider -o comments.json для запуска сканера.

Вы можете заметить, что для каждого из моих url существует уникальный url_id, связанный с ним.Как я могу сопоставить каждый результат сканирования с url_id.В идеале я хочу сохранить url_id в результате вывода доходности в comments.json.

Большое спасибо!

Ответы [ 2 ]

2 голосов
/ 27 марта 2019

Попробуйте передать, например, параметр meta. Я сделал несколько обновлений для вашего кода: 

def start_requests(self):
    with open("target_urls.txt", 'r', encoding='utf-8') as f:
        for line in f:
            url_id, url = line.split('\t\t')
            yield Request(url, self.parse, meta={'url_id': url_id, 'original_url': url})

def parse(self, response):
    yield {
        'target_url': response.meta['original_url'],
        'url_id': response.meta['url_id'],
        'comments': response.xpath('//div[@class="comments"]//em//text()').extract()
    }
1 голос
/ 27 марта 2019

Отвечая на вопрос и на комментарий, попробуйте что-то вроде этого: 

from scrapy import Spider, Request
from selenium import webdriver

class MySpider(Spider):
    name = "my_spider"

    def __init__(self):
        self.browser = webdriver.Chrome(executable_path='E:/chromedriver')
        self.browser.set_page_load_timeout(100)


    def closed(self,spider):
        print("spider closed")
        self.browser.close()

    def start_requests(self):

        with open("target_urls.txt", 'r', encoding='utf-8') as f:
            for line in f:
                url_id, url = line.split('\t\t')

                yield Request(url=url, callback=self.parse, meta={'url_id':url_id,'url':url})


    def parse(self, response):
        yield {
        'target_url': response.meta['url'],
        'comments': response.xpath('//div[@class="comments"]//em//text()').extract(),
        'url_id':response.meta['url_id']
    }

Как было сказано в предыдущем ответе, вы можете передавать параметры между различными методами, используя META (http://scrapingauthority.com/scrapy-meta).

).
...