Многопроцессорная обработка данных - PullRequest
Новая
       47

Многопроцессорная обработка данных

0 голосов
/ 23 марта 2020

Вот фиктивный код моего фактического кода. фрейм данных извлекает 1000 записей из базы данных, и я хочу применить многопроцессорную обработку к фрейму данных, чтобы одновременно выполнять функцию «NOTE ()». Как я могу достичь этого. В note () я записываю данные в файл. 

import cx_Oracle
import pandas as pd
# CR is the manual written python code for processing the dataframe.
from CR import note
from RB import rm




if __name__== "__main__":

    #connection details of Database
    conn='#####'
    con = cx_Oracle.connect('###','####',conn)

    #cursor used for db execution
    cursor = con.cursor()

    #sql query to fetch data from db
    sql="""select  * from users  """

    print("Start time ",datetime.now())
    df_oracle = pd.read_sql(sql,con)
    file='xyz.txt'
    for index,i in df_oracle.iterrows():
        xy=i['BUFFER_BUF'].read()
        xyz=str(xy, 'utf-8').replace('\n ','')
        note(xyz,file)
        rm(xyz,file)
...