Aiohttp Cookies Slow Response - PullRequest
Новая
       5

Aiohttp Cookies Slow Response

0 голосов
/ 01 марта 2020

Я создаю программу для извлечения информации о страницах одного веб-сайта, однако даже при использовании asyn c по какой-то причине требуется много времени, пока они все не будут выполнены (30 URL).

Мой код: 

result = asyncio.run(Network(urls, cookie))

async def Network(urls, cookie):
    async with aiohttp.ClientSession(cookies=cookie) as session:      
        htmls = await asyncio.gather(*[Network_data(url, session) for url in urls])
    return htmls

async def Network_data(url, session):
    async with session.get(url) as response:   
        return await response.text()

В Visual Studio я вижу, что большую часть времени моя программа работает с: _queue.SimpleQueue.get и _overlapped.GetQueueCompletionStatus

Мой вопрос: Может Я делаю это быстрее?

...