Как установить приоритеты в медицине - PullRequest
Новая
       51

Как установить приоритеты в медицине

0 голосов
/ 12 июня 2019

Пытаюсь почистить веб-страницы, и мне нужно установить приоритеты, чтобы поцарапать их по порядку. Прямо сейчас он хочет очистить все страницы 1 каждого URL, затем все страницы 2 и так далее. Но мне это нужно, чтобы очистить все страницы URL 1 и все страницы URL 2 и так далее. Я пытался использовать приоритеты, чтобы сделать это, установив первый URL-адрес равным наивысшему приоритету, который будет количество URL-адресов в файле CSV. Но это не работает, главным образом потому, что я не могу уменьшить значение приоритета, потому что он находится в цикле for, поэтому каждый раз, когда он входит в цикл, он сбрасывает приоритеты на исходное число, поэтому каждый раз он один и тот же, поэтому все они имеют одинаковый приоритет. , Как я могу правильно расставить приоритеты, чтобы очистить URL-адреса в нужном мне порядке.

SplashSpider.py 

class MySpider(Spider):

    # Name of Spider
    name = 'splash_spider'
    # getting all the url + ip address + useragent pairs then request them
    def start_requests(self):


        # get the file path of the csv file that contains the pairs from the settings.py
        with open(self.settings["PROXY_CSV_FILE"], mode="r") as csv_file:
           # requests is a list of dictionaries like this -> {url: str, ua: str, ip: str}
            requests = process_csv(csv_file)
            for i, req in enumerate(requests):
                x = len(requests) - i  # <- check here
                # Return needed url with set delay of 3 seconds
                yield SplashRequest(url=req["url"], callback=self.parse, args={"wait": 3},
                        # Pair with user agent specified in csv file
                        headers={"User-Agent": req["ua"]},
                        # Sets splash_url to whatever the current proxy that goes with current URL  is instead of actual splash url
                        splash_url = req["ip"],
                        priority = x,
                        meta={'priority': x}
                        )

ОБНОВЛЕНИЕ # 1 

 # Scraping function that will scrape URLs for specified information
    def parse(self, response):
        # Initialize item to function GameItem located in items.py, will be called multiple times
        item = GameItem()
        # Initialize saved_name
        saved_name = ""
        # Extract card category from URL using html code from website that identifies the category.  Will be outputted before rest of data
        item["Category"] = response.css("span.titletext::text").get()
        # For loop to loop through HTML code until all necessary data has been scraped
        for game in response.css("tr[class^=deckdbbody]"):
            # Initialize saved_name to the extracted card name
            saved_name  = game.css("a.card_popup::text").get() or saved_name
            # Now call item and set equal to saved_name and strip leading '\n' from output
            item["Card_Name"] = saved_name.strip()
            # Check to see if output is null, in the case that there are two different conditions for one card
            if item["Card_Name"] != None:
                # If not null than store value in saved_name
                saved_name = item["Card_Name"].strip()
            # If null then set null value to previous card name since if there is a null value you should have the same card name twice
            else:
                item["Card_Name"] = saved_name
            # Call item again in order to extract the condition, stock, and price using the corresponding html code from the website
            item["Condition"] = game.css("td[class^=deckdbbody].search_results_7 a::text").get()
            item["Stock"] = game.css("td[class^=deckdbbody].search_results_8::text").get()
            item["Price"] = game.css("td[class^=deckdbbody].search_results_9::text").get()
            if item["Price"] == None:
                item["Price"] = game.css("td[class^=deckdbbody].search_results_9 span[style*='color:red']::text").get()

            # Return values
            yield item


        priority = response.meta['priority']
        # Finds next page button
        next_page = response.xpath('//a[contains(., "- Next>>")]/@href').get()
        # If it exists and there is a next page enter if statement
        if next_page is not None:
            # Go to next page
            yield response.follow(next_page, self.parse, priority=priority, meta={'priority': priority})

ОБНОВЛЕНИЕ 2 

2019-06-13 15:16:23 [scrapy.core.scraper] ERROR: Spider error processing <GET http://www.starcitygames.com/catalog/category/1014?&start=50> (referer: http://www.starcitygames.com/catalog/category/Visions)
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/scrapy/utils/defer.py", line 102, in iter_errback
    yield next(it)
  File "/usr/local/lib/python3.6/site-packages/scrapy/spidermiddlewares/offsite.py", line 29, in process_spider_output
    for x in result:
  File "/usr/local/lib/python3.6/site-packages/scrapy/spidermiddlewares/referer.py", line 339, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "/usr/local/lib/python3.6/site-packages/scrapy/spidermiddlewares/urllength.py", line 37, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "/usr/local/lib/python3.6/site-packages/scrapy/spidermiddlewares/depth.py", line 58, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "/usr/home/north/scrapy_splash/scrapy_javascript/scrapy_javascript/spiders/SplashSpider.py", line 104, in parse
    priority = response.meta['priority']
KeyError: 'priority'

1 Ответ

1 голос
/ 12 июня 2019

Чтобы изменить их через массив, лучше сделать что-то вроде этого: 

   for i, req in enumerate(requests):
        x = len(requests) - i  # <- check here

        # Return needed url with set delay of 3 seconds
        yield SplashRequest(url=req["url"], callback=self.parse, args={"wait": 3},
                # Pair with user agent specified in csv file
                headers={"User-Agent": req["ua"]},
                # Sets splash_url to whatever the current proxy that goes with current URL  is instead of actual splash url
                splash_url = req["ip"],
                priority = x,
                meta={'priority': x}  # <- check here!!
                )

И не забудьте использовать, например, мета для передачи текущего приоритета (я не помню, возможно ли получить его из ответа или нет), чтобы передать его каждому дочернему запросу.

UPDATE: 

    def parse(self, response):
        # I skip you logic here
        priority = response.meta['priority']
        next_page = response.xpath('//a[contains(., "- Next>>")]/@href').get()
        # If it exists and there is a next page enter if statement
        if next_page is not None:
            # Go to next page
            yield response.follow(next_page, self.parse, priority=priority, meta={'priority': priority})
...