Возврат многопроцессорных выходов в python - PullRequest
Новая
       4

Возврат многопроцессорных выходов в python

0 голосов
/ 09 апреля 2020

Я пытаюсь заставить две функции работать параллельно. Первая функция выполняет вызов API и возвращает вывод json, а вторая функция выполняет вызов базы данных и возвращает захваченные данные.

У меня есть следующий код - 

import multiprocessing
ret = {'db': None, 'api':None}

def db_call(queue=None):
    engine = db.create_engine('mysql+pymysql://{}:{}@{}/{}'.format(user, password, host, database))
    dbConnection = engine.connect()
    df_aws_accounts = pd.read_sql(query, dbConnection)
    if queue:
        queue['db'] = df_aws_accounts
    return df_aws_accounts

def api_call(queue=None):
    data = requests.get(url, verify=False)
    df = pd.DataFrame(data)
    if queue:
        queue['api'] = df
    return df

def runInParallel(*fns):
    queue = multiprocessing.Queue()
    queue.put(ret)
    proc = []
    for fn in fns:
        p = Process(target=fn,args=((queue),))
        p.start()
        proc.append(p)
    print(queue.get())
    for p in proc:
        p.join()

l = [api_call, db_call]

runInParallel(l)

когда я запускаю приведенный выше код - 

Process Process-2:
Traceback (most recent call last):
  File "/usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/multiprocessing/process.py", line 297, in _bootstrap
    self.run()
  File "/usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/lib/python3.7/multiprocessing/process.py", line 99, in run
    self._target(*self._args, **self._kwargs)
TypeError: 'list' object is not callable

Как получить вывод из runInParallel и назначить его переменным? Edit-Note - Эти функции работают индивидуально. но не когда я делаю это через функцию runInParallel.

Редактировать 2 - Обновлен код на основе предложений.

1 Ответ

0 голосов
/ 09 апреля 2020

Основная проблема в том, что функция runInParallel ничего не возвращает

Но также, если вы хотите, чтобы функция, использующая многопроцессорную обработку, возвращала что-либо, вы можете создать глобальную переменную, такую ​​как output, и сделайте так, чтобы функция присваивала ему значение: 

def api_call():
  global output
  output = api_data
...