Asyn c с запросами, как получить преимущество в скорости - PullRequest
1 голос
/ 03 апреля 2020

Довольно плохо знаком с Asyn c, извините за то, что теперь могу сформулировать вопрос довольно точно.

Я пытался использовать asyn c, следуя примеру (https://pythonprogramming.net/asyncio-basics-intermediate-python-tutorial/) в надежде получить некоторое преимущество в скорости от нескольких запросов.get (), чем делать это синхронно c.

import asyncio
import time
import requests

async def get_text(url):
    print(f"Load {url}")
    data = requests.get(url).text
    await asyncio.sleep(0.0001)
    print(f"Finished loading {url}")
    return data

async def main(name):
    tasks = [loop.create_task(get_text(n)) for n in name]
    await asyncio.wait(tasks)
    return tasks

if __name__ == '__main__':
    url = ['https://www.nytimes.com', 'https://news.yahoo.com']
    s = time.perf_counter()
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(main(url))
    loop.close()
    e = time.perf_counter() - s
    print(f"Time takes: {e:0.2f}s")

Но, очевидно, это то же самое, что выполнить два запроса в последовательности. Можете ли вы указать, что я сделал не так и как это сделать правильно, чтобы сэкономить время? Я видел другой пример с использованием ThreadPoolExecutor и l oop .run_in_executor (), но я не уверен, как это включить.

С уважением,

J

Ответы [ 2 ]

3 голосов
/ 03 апреля 2020

requests выполняет синхронный ввод-вывод, поэтому каждый вызов requests.get будет блокировать все событие l oop. Если вы хотите asyn c IO, используйте другую библиотеку, например aiohttp.

0 голосов
/ 03 апреля 2020

Вы можете достичь параллелизма здесь, используя Python многопроцессорность. https://docs.python.org/3.7/library/multiprocessing.html Требуется немного чтения, но по сути это позволяет запускать новые неблокирующие процессы, которые будут выполняться параллельно, параллельно выполняя ваш код / ​​функциональность. так что вы можете делать параллельные запросы. Сделайте попытку преобразовать свой код в многопроцессорную обработку, и в этом случае, если вам понадобится помощь, будем рады помочь!

...