Я использую скрап для очистки определенных сайтов на питоне. Когда ответ загружен, я хочу передать этот ответ основной программе
class QuotesSpider(scrapy.Spider):
name = 'piracy'
def __init__(self, *args, **kwargs):
super(QuotesSpider, self).__init__(*args, **kwargs)
self.start_urls = kwargs.get('url_to_scrap')
self.returndict = kwargs.get('returndict')
def parse(self, response):
print "Getting Text From {}".format(response.url)
#return the_html_page
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
crawler = CrawlerRunner(get_project_settings())
crawler.crawl(QuotesSpider, url_to_scrap=['https://google.com'])
te = Thread(target=reactor.run, args=(False,)).start()
# here I should get page response
# print the_html_page
Мне нужно получить возвращенный ответ после запуска реактора в потоке для последующей обработки.