Выполнить две функции одновременно, используя asyncio - PullRequest
Новая
       20

Выполнить две функции одновременно, используя asyncio

2 голосов
/ 30 января 2020

У меня сейчас есть настройка, в которой я открываю подпроцесс, и мне нужно одновременно прочитать stdout и stderr , поэтому после вызова подпроцесса я создаю новый поток для stdout и просто обработайте stderr в главном потоке. 

# imports
from subprocess import Popen, PIPE
from threading import Thread


def handle_stdout(stdout):
    # ... do something with stdout,
    # not relevant to the question
    pass


def my_fn():
    proc = Popen([...], stdout=PIPE, stderr=PIPE)
    Thread(target=lambda: handle_stdout(proc.stdout)).start()
    # ... handle stderr
    print(proc.stderr.read())
    proc.wait()
    proc.kill()

my_fn()

Есть ли способ добиться того же, используя asyncio?

1 Ответ

2 голосов
/ 01 февраля 2020

Безтоковая asyncio версия вашего кода может выглядеть примерно так: 

import asyncio
import asyncio.subprocess

async def handle_stdout(stdout):
    while True:
        line = await stdout.readline()  # Possibly adding .decode() to get str
        if not line:
            break
    # In 3.8 four lines above can be replaced with just:
    # while line := await stdout.readline():  # Yay walrus operator!
        # ... do stuff with line ...

async def my_fn():
    # Note: No list wrapping on command line arguments; all positional arguments are part of the command
    proc = await asyncio.create_subprocess_exec(..., stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE)
    stdout_task = asyncio.create_task(handle_stdout(proc.stdout))
    # ... handle stderr
    print(await proc.stderr.read())
    await stdout_task
    await proc.wait()

if  __name__ == '__main__':
    asyncio.run(my_fn())

API немного отличаются, асин c функции фактически вызываются, когда вы делаете из них задачи (где потоки должны принимать неотзывные функции), и вам нужно быть осторожным, чтобы await все асинхронные c предпринятые действия, но это не , что отличается. Основная проблема - вирусный характер async; поскольку в функции async можно использовать только await, трудно вызывать асин c код из неасинного c кода (наоборот, работает нормально, если не асинхронный код c не блокирует по любой причине). Это делает асин * c кодовые базы в значительной степени несовместимыми с не async и делает преобразование по частям практически невозможным, но для совершенно нового кода это работает отлично.

...