Время отклика с использованием aiohttp увеличивается со временем - PullRequest
0 голосов
/ 11 июня 2018

У меня есть API "localhost / service", который возвращает в среднем 2 секунды, когда возвращается по запросу, и около 8 секунд, когда я настраивал 10 потоков для параллельного запроса.Я хотел воспроизвести эти числа, используя asyncio, без потоков.Я решил сделать это, следуя коду статьи и устанавливая семафор на 10. Для первых 20 или около того запросов я получаю время ответа 8 с, но после этого время ответа начинает довольно резко увеличиваться.Я продолжаю запрашивать сервер, используя почтальон на стороне, и время его последовательного возврата составляет 8 с, в то время как этот скрипт, использующий asyncio, сообщает о времени более минуты на запрос.Что я тут не так делаю?

import time
import asyncio
from aiohttp import ClientSession

async def fetch(url, session):
    start = time.monotonic()
    async with session.get(url) as response:
        end = round(time.monotonic() - start, 4)
        print("response time: {}".format(end))
        return await response.read()


async def bound_fetch(sem, url, session):
    # Getter function with semaphore.
    async with sem:
        await fetch(url, session)


async def run(r):
    url = 'http://localhost:8080/service'
    tasks = []
    # create instance of Semaphore
    sem = asyncio.Semaphore(10)

    # Create client session that will ensure we dont open new connection
    # per each request.
    async with ClientSession() as session:
        for i in range(r):
            # pass Semaphore and session to every GET request
            task = asyncio.ensure_future(bound_fetch(sem, url.format(i), session))
            tasks.append(task)

        responses = asyncio.gather(*tasks)
        await responses

number = 10000
loop = asyncio.get_event_loop()

future = asyncio.ensure_future(run(number))
loop.run_until_complete(future)

1 Ответ

0 голосов
/ 11 июня 2018

Статья довольно устарела.

aiohttp имеет ограничение по 100 параллельных соединений по умолчанию, см. здесь .

В основном вы нене требуется семафор (его функциональность встроена в сам aiohttp), но он должен увеличить размер пула соединений.

...