оптимизировать код Python для более быстрого ответа - PullRequest
Новая
       8

оптимизировать код Python для более быстрого ответа

0 голосов
/ 01 мая 2019

Этот код работает, но очень медленно.И я хотел бы использовать модуль sqlalchemy, потому что остальная часть сценария использует его вместо mysql.Есть ли преимущество использования sqlalchemy, или я должен продолжать это ... 

for emp_id in mylist:
    try:
        connection = mysql.connector.connect(host='x.x.x.x', port='3306', database='xxx', user='root', password='xxx')

        cursor = connection.cursor(prepared=True)
        sql_fetch_blob_query = """SELECT col1, col2, Photo from tbl where ProfileID = %s"""

        cursor.execute(sql_fetch_blob_query, (emp_id, ))
        record = cursor.fetchall()
        for row in record:
            image =  row[2]
            file_name = 'myimages4'+'/'+str(row[0])+ '_' + str(row[1]) + '/' + 'simage' + str(emp_id) + '.jpg'
            write_file(image, file_name)

    except mysql.connector.Error as error :
        connection.rollback()
        print("Failed to read BLOB data from MySQL table {}".format(error))

    finally:
        if(connection.is_connected()):
            cursor.close()
            connection.close()

1 Ответ

1 голос
/ 01 мая 2019

Вам действительно нужно установить новое соединение MySQL и получить курсор на каждой итерации?Если нет, то его однократное открытие в начале действительно ускорит ваш код. 

connection = mysql.connector.connect(host='x.x.x.x', port='3306', database='xxx', user='root', password='xxx', charset="utf8")
cursor = connection.cursor(prepared=True)

for emp_id in mylist:
    try:
        sql_fetch_blob_query = """SELECT col1, col2, Photo from tbl where ProfileID = %s"""

        cursor.execute(sql_fetch_blob_query, (emp_id, ))
        record = cursor.fetchall()
        for row in record:
            image =  row[2]
            file_name = 'myimages4'+'/'+str(row[0])+ '_' + str(row[1]) + '/' + 'simage' + str(emp_id) + '.jpg'
            write_file(image, file_name)

    except mysql.connector.Error as error :
        connection.rollback()
        print("Failed to read BLOB data from MySQL table {}".format(error))

    finally:
        # ouch ...
        if(connection.is_connected()):
            cursor.close()
            connection.close()

UPD: На самом деле вам даже не нужно делать N запросов к базе данных, потому что все данныеможет быть получен в одном запросе с помощью WHERE ProfileID IN (.., ..) оператора SQL.Посмотрите на этот небольшой код, который решает почти идентичную задачу: 

transaction_ids = [c['transaction_id'] for c in checkouts]
format_strings = ','.join(['%s'] * len(transaction_ids))
dm_cursor.execute("SELECT ac_transaction_id, status FROM transactions_mapping WHERE ac_transaction_id IN (%s)" % format_strings, tuple(transaction_ids)) 
payments = dm_cursor.fetchall()

Пожалуйста, используйте его для решения вашей проблемы.

...