Есть ли способ напечатать сообщение каждый раз, когда «чанк» записывается в базу данных SQL? - PullRequest
0 голосов
/ 03 октября 2019

Итак, у меня есть огромный фрейм данных, который я записываю в таблицу базы данных SQL, разбивая фрейм данных на куски размером 10 000 (мне сказали, что это ускоряет процесс). Я использую следующий код:

   from sqlalchemy import create_engine

   my_username = 'John_Doe'
   my_password = 'fake_password'
   my_hostname = 'something_long'
   my_database = 'generic_db_name'
   my_schema = 'i_forget'

   my_engine = create_engine('postgresql://'+ my_username + ':' + my_password + '@' + my_hostname + 
   ':' +'5432/' + my_database)

   my_df.to_sql('this_is_what_im_naming_the_tbl', con = my_engine, schema='my_schema', if_exists = 'replace', 
   index = False, chunksize = 10000)

Есть ли способ напечатать сообщение всякий раз, когда новый кусок записывается в таблицу? Может быть, что-то вроде «кусок был только что добавлен к столу». Это база данных postgresql, но эта информация, вероятно, не поможет.

...