Scrapy выборка Start_URL из таблицы MySQL - PullRequest
Новая
       17

Scrapy выборка Start_URL из таблицы MySQL

0 голосов
/ 04 октября 2018

У меня возникли проблемы с загрузкой start_urls для Scrapy для запуска из таблицы в MySQL.

MySQL имеет базу данных с именем "scrapy", таблицу с именем "urls" и одним столбцом с именем "url", которыйимеет в каждой строке URL для очистки.

Это код, который у меня есть в настоящее время, но я чувствую, что где-то пропускаю концепцию: 

# -*- coding: utf-8 -*-
import scrapy
import datetime
import urlparse
import socket
import MySQLdb
from scrapy.loader import ItemLoader
from example.items import exampleitem


class instantdbSpider(scrapy.Spider):
    name = 'instantdb'
    allowed_domains = ['example.com']
    def start_requests(self):
        conn = MySQLdb.connect(
            user='root',
            passwd='Password!',
            db='scrapy',
            host='localhost',
            charset="utf8",
            use_unicode=True,
            cursorclass=MySQLdb.cursors.DictCursor
        )
        cursor = conn.cursor()
        cursor.execute('SELECT * FROM urls')
        rows = cursor.fetchall()
        for row in rows:
            url = row["url"]
        yield Request(url=url)

    def parse(self, response):
        l = ItemLoader(item=exampleitem(), response=response)

        #Scrape Fields
        l.add_xpath('title', '//html/head/title/text()')
        l.add_xpath('sku', '//*[@id="js-zoom-image-container"]/div[5]/h2/strong/text()')
        l.add_xpath('price', '//*[@id="main-content"]/div/div[1]/div[1]/div[1]/div/div[1]/div[2]/p/text()[1]')
        l.add_xpath('product_title', '//html/body/div[1]/span[4]/text()')
        l.add_xpath('image_url', '//*[@id="main-content"]/div/div[1]/div[1]/div[2]/div[1]/div[3]/div[1]/a/img/@src')
        l.add_xpath('description', '//*[@id="main-content"]/div/div[1]/div[1]/div[2]/div[7]')

        # Administration Fields
        l.add_value('url', response.url)
        l.add_value('project', self.settings.get('BOT_NAME'))
        l.add_value('spider', self.name)
        l.add_value('server', socket.gethostname())
        l.add_value('date', datetime.datetime.now())

        return l.load_item()

Любая помощь будет принята с благодарностьюКажется, я хожу по кругу.Спасибо.

1 Ответ

0 голосов
/ 05 октября 2018

У вас есть проблема с отступом: 

for row in rows:
    url = row["url"]
    yield Request(url=url)
...