Сделайте Python Async запросов быстрее - PullRequest
Новая
       39

Сделайте Python Async запросов быстрее

0 голосов
/ 03 июня 2019

Я пишу метод get, который получает массив идентификаторов, а затем делает запрос для каждого идентификатора.Массив идентификаторов может быть 500+, и сейчас запросы занимают более 20 минут.Я пробовал несколько разных асинхронных методов, таких как aiohttp и async, и ни один из них не работал для ускорения запросов.Вот мой код: 

async def get(self):
    self.set_header("Access-Control-Allow-Origin", "*")
    story_list = []
    duplicates = []
    loop = asyncio.get_event_loop()
    ids = loop.run_in_executor(None, requests.get, 'https://hacker-news.firebaseio.com/v0/newstories.json?print=pretty')
    response = await ids
    response_data = response.json()
    print(response.text)
    for url in response_data:
        if url not in duplicates:
            duplicates.append(url)
            stories = loop.run_in_executor(None, requests.get, "https://hacker-news.firebaseio.com/v0/item/{}.json?print=pretty".format(
            url))
            data = await stories
            if data.status_code == 200 and len(data.text) > 5:
                print(data.status_code)
                print(data.text)
                story_list.append(data.json())

Есть ли способ использовать многопоточность для ускорения запросов?

1 Ответ

3 голосов
/ 03 июня 2019

Основная проблема заключается в том, что код на самом деле не асинхронный.

После получения списка URL-адресов вы выбираете их по одному, а затем ожидаете ответа.

Лучше было бы отфильтровать дубликаты (используйте set) перед установкой в ​​очередь всех URL-адресов в исполнителе и ожидая их завершения, например: 

async def get(self):
    self.set_header("Access-Control-Allow-Origin", "*")
    stories = []
    loop = asyncio.get_event_loop()
    # Single executor to share resources
    executor = ThreadPoolExecutor()

    # Get the initial set of ids
    response = await loop.run_in_executor(executor, requests.get, 'https://hacker-news.firebaseio.com/v0/newstories.json?print=pretty')
    response_data = response.json()
    print(response.text)

    # Putting them in a set will remove duplicates
    urls = set(response_data)

    # Build the set of futures (returned by run_in_executor) and wait for them all to complete
    responses = await asyncio.gather(*[
        loop.run_in_executor(
            executor, requests.get, 
            "https://hacker-news.firebaseio.com/v0/item/{}.json?print=pretty".format(url)
        ) for url in urls
    ])

    # Process the responses
    for response in responses:
        if response.status_code == 200 and len(response.text) > 5:
            print(response.status_code)
            print(response.text)
            stories.append(response.json())

    return stories
...