Почему aiohttp ужасно медленнее, чем Gevent? - PullRequest
Новая
       37

Почему aiohttp ужасно медленнее, чем Gevent?

0 голосов
/ 08 октября 2018

Отказ от ответственности: я новичок в aiohttp

Я экспериментировал с aiohttp для асинхронной обработки запросов на получение, но он оказался ужасно медленнее, чем версия gevent для пула.

GEVENTВЕРСИЯ 

import gevent
from gevent import monkey
monkey.patch_all()
from gevent.pool import Pool

import requests
import time

def pooling_task(url):
    requests.get(url)


def pooling_main():
    start = time.time()
    pool = Pool(10)
    urls = [
        "http://google.com",
        "http://yahoo.com",
        "http://linkedin.com",
        "http://shutterfly.com",
        "http://mypublisher.com",
        "http://facebook.com"
    ]
    for url in urls:
        pool.apply_async(pooling_task, args=(url,))

    pool.join()
    end = time.time()
    print("POOL TIME {}".format(end-start))

if __name__ == '__main__':
    print("POOLING VERSION")
    pooling_main()

ВЫХОД - ВРЕМЯ БАССЕЙНА 6.299163818359375

Ниже приводится версия aiohttp 

import aiohttp
import asyncio
import time
import uvloop

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()


async def main():
    urls = [
        "http://google.com",
        "http://yahoo.com",
        "http://linkedin.com",
        "http://shutterfly.com",
        "http://mypublisher.com",
        "http://facebook.com"]

    async with aiohttp.ClientSession() as session:
        for url in urls:
            await fetch(session, url)

if __name__ == "__main__":
    start = time.time()
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
    end = time.time()
    print("Time taken {}".format(end - start))

ВЫХОД - Время истекло 15.399710178375244

Я действительно не знаюЯ не понимаю, почему aiohttp намного медленнее.Что касается версии gevent, то запросы .get по-прежнему являются блокирующим вызовом, но не для aiohttp.

Я ожидал, что версия aiohttp будет быстрее.

1 Ответ

0 голосов
/ 08 октября 2018 
for url in urls:
    await fetch(session, url)

await здесь означает, что вы не начинаете скачивать следующий URL до того, как предыдущий будет сделан.Чтобы все загрузки выполнялись одновременно, вы должны использовать что-то вроде asyncio.gather .

Измените свой код следующим образом: 

async with aiohttp.ClientSession() as session:
    await asyncio.gather(*[
        fetch(session, url)
        for url
        in urls
    ])

Вы увидите огромное ускорение.

...