Сканер обновляет данные в массив, возвращает внутри цикла - PullRequest
Новая
       13

Сканер обновляет данные в массив, возвращает внутри цикла

1 голос
/ 19 апреля 2019

Я хочу непрерывно сканировать и обновлять значение массива, используя цикл, потому что мне нужно нажать какую-то кнопку, чтобы получить следующее значение в массиве. Однако, похоже, yield внутри цикла работает как параллельный поток, и элемент был возвращен много раз. Я хочу пройти через цикл, обновить данные и выдать элемент только один раз. пример: токовый выход: 

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data31']}

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data32']}

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data33']}

ожидается: 

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data31', 'data32', 'data3']}

Вот мой код 

def parse_individual_listings(self, response):
     ...
     data = {}
     data[field1] = 'data1'
     data[field1] = 'data2'
     ...
     for i in range(3):
         yield scrapy.Request(
                urlparse.urljoin(response.url, link['href']), #different link
                callback=self.parse_individual_tabs,
                meta={'data': data, 'n':i};
         )
def parse_individual_tabs(self, response):
     data = response.meta['data']
     i = response.meta['i']
     ...
     # keep populating `data`
     data[field3][i] = "data3[i]"  #this value change when I click a button to update
     yield data

Ответы [ 2 ]

1 голос
/ 19 апреля 2019

Попробуйте использовать библиотеку inline_requests (https://pypi.org/project/scrapy-inline-requests/).. Она позволяет вам делать запросы внутри одной и той же функции. Полезно собирать данные в один объект, а не выдавать разные. Проверьте этот пример с помощью некоторого псевдокода: 

from inline_requests import inline_requests
from scrapy import Selector

@inline_requests
def parse_individual_listings(self, response):
    ...
    data = {}
    data[field1] = 'data1'
    data[field1] = 'data2'
     ...
    for i in range(3):
        extra_req = yield scrapy.Request(
            response.urljoin(link['href']), #different link
        )
        # apply your logics here, say extract some data
        sel = Selector(text=extra_req.text)
        data['field3'].append(sel.css('some css selector').get())
    yield data
0 голосов
/ 19 апреля 2019

Следуя многопоточности и несинхронизированной идее, я заканчиваю тем, что использую блокировку мьютекса в parse_individual_tabs, и, кажется, работает нормально. 

from threading import Lock
...
mutex = Lock()
count = 0
...
def parse_individual_tabs(self, response):
 self.mutex.acquire(1)
 try:
    count += 1
    data = response.meta['data']
    i = response.meta['i']
    ...
    # keep populating `data`
    data[field3][i] = "data3[i]"  #this value change when I click a button to update
 finally:
        self.mutex.release()
 if (count == 3):   #check if this is callback of last yield Request
     yield data
 else:
     return
...