читать несколько таблиц и записывать данные чанка в базу данных postgres в pandas - PullRequest
0 голосов
/ 30 апреля 2020

Я прочитал несколько таблиц из базы данных postgres и записал их в базу данных anohter через pandas, как показано ниже, но каждый раз начинаю с первой строки чанка и записываю ее в базу данных .. Я хочу написать полную первую таблицу, а затем 2-ю. и так далее .... код:

chunksize=30
offset=0
j=0
print('now Connected 1st')
conn1=psql.connect()
conn2=dvd.connect()
print('now Connected 2nd')
table=['all_m_splty','all_m_lgd_states']
for i in table:
    sql="Select * from sha.%s Limit %d offset %d" % (i,chunksize,offset)
    print('now reading...')
    while True:
        for df in pd.read_sql_query(sql,conn1,chunksize=chunksize):
            print('now writting...')
            df.to_sql(name=i,con=conn2, if_exists='replace',index=False)
            offset+= chunksize
            j+=df.index[-1]+1
            print('Total no. of Rows inserted {} in {}'.format(j,i))
            while df.index[-1]+1 < chunksize:
                print('next')
                break
print("Main DisConnected!")
conn.close()
conn2.close()

вывод :

now Connected 1st
now Connected 2nd
hello! now reading start
now reading...
now writting...
Total no. of Rows inserted 30 in all_m_splty
now writting...
Total no. of Rows inserted 60 in all_m_splty
now writting...
Total no. of Rows inserted 90 in all_m_splty
now writting...
Total no. of Rows inserted 120 in all_m_splty
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...