Asyncio Loop в Asyncio Loop - PullRequest
Новая
       23

Asyncio Loop в Asyncio Loop

0 голосов
/ 08 мая 2018

Я только начинаю использовать Asyncio и пытаюсь использовать его для разбора веб-сайта.

Я пытаюсь проанализировать 6 разделов (self.signals) сайта, в каждом разделе есть N страниц с таблицами на них, поэтому, по сути, я пытаюсь асинхронизировать цикл, вызывающий какой раздел, и асинхронизировать страницы в каждом разделе. Это то, что я имею до сих пор. 

class FinViz():
    def __init__(self):
        self.url = 'https://finviz.com/screener.ashx?v=160&s='

        self.signals = {
            'Earnings_Before' : 'n_earningsbefore',
            'Earnings_After' : 'n_earningsafter',
            'Most_Active' : 'ta_mostactive',
            'Top_Gainers' : 'ta_topgainers',
            'Most_Volatile' : 'ta_mostvolatile',
            'News' : 'n_majornews',
            'Upgrade' : 'n_upgrades',
            'Unusual_Volume' : 'ta_unusualvolume' 
        }

        self.ticks = []

    def _parseTable(self, data):
        i, signal = data
        url = self.signals[signal] if i == 0 else self.signals[signal] + '&r={}'.format(str(i * 20 + 1))
        soup = BeautifulSoup(urlopen(self.url + url, timeout = 3).read(), 'html5lib')
        table = soup.find('div', {'id' : 'screener-content'}).find('table', 
            {'width' : '100%', 'cellspacing': '1', 'cellpadding' : '3', 'border' : '0', 'bgcolor' : '#d3d3d3'})
        for row in table.findAll('tr'):
            col = row.findAll('td')[1]
            if col.find('a'):
                self.ticks.append(col.find('a').text)


    async def parseSignal(self, signal):
        try:
            soup = BeautifulSoup(urlopen(self.url + self.signals[signal], timeout = 3).read(), 'html5lib')

            tot = int(soup.find('td', {'class' : 'count-text'}).text.split()[1])

            with concurrent.futures.ThreadPoolExecutor(max_workers = 20) as executor:
                loop = asyncio.get_event_loop()
                futures = []
                for i in range(tot // 20 + (tot % 20 > 0)):
                    futures.append(loop.run_in_executor(executor, self._parseTable, (i, signal)))


                for response in await asyncio.gather(*futures):
                    pass    
        except URLError:
            pass


    async def getAll(self):
        with concurrent.futures.ThreadPoolExecutor(max_workers = 20) as executor:
            loop = asyncio.get_event_loop()
            futures = []
            for signal in self.signals:
                futures.append(await loop.run_in_executor(executor, self.parseSignal, signal))

            for response in await asyncio.gather(*futures):
                pass
        print(self.ticks)

if __name__ == '__main__':

    x = FinViz()
    loop = asyncio.get_event_loop()
    loop.run_until_complete(x.getAll())

Это делает работу успешно, но почему-то делает это медленнее, чем если бы я выполнял разбор без asyncio.

Какие-нибудь советы для асинхронного новичка?

Редактировать: добавлен полный код

1 Ответ

0 голосов
/ 03 февраля 2019

Помните, что в python есть GIL, поэтому многопоточный код не влияет на производительность. Чтобы потенциально ускорить процесс, используйте ProcessPoolExecutor , однако обратите внимание, что вы понесете следующие издержки:

  1. извлечение / открепление данных для рабочего процесса
  2. результат засолки / расслоения отправляется обратно в основной процесс

Вы можете избежать 1. если вы работаете в безопасной среде и сохраняете данные в глобальной переменной.

Вы также можете делать такие вещи, как обмен отображенным в памяти файлом ... также быстрый обмен необработанными строками / байтами.

...