SQLAlchemy вставляет миллионы данных неэффективно

Question

Завершение вставки кортежей 100000 (пользователь, пароль) занимает много времени.

def insertdata(db,name,val):
    i = db.insert()
    i.execute(user= name, password=val)
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
for ele in tuplelist:
    insertdata(mydb,ele[0],ele[1])

какая функция занимает больше времени? Есть ли способ проверить узкое место в Python? Могу ли я избежать этого путем кэширования и сделать коммит позже?

Answer 1

имеют дескриптор DBAPI, повторяющий параметры.

def insertdata(db,tuplelist):
    i = db.insert()
    i.execute([dict(user=elem[0], password=elem[1]) for elem in tuplelist])
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
insertdata(mydb,tuplelist)