Конвертировать список pyodbc.rows в панды Dataframe занимает очень много времени - PullRequest
Новая
       5

Конвертировать список pyodbc.rows в панды Dataframe занимает очень много времени

0 голосов
/ 26 ноября 2018

Есть ли более быстрый способ преобразования объекта pyodbc.rows в панды Dataframe?Преобразование списка из 10 миллионов объектов + pyodbc.rows в кадр данных pandas занимает около 30-40 минут.

import pyodbc
import pandas

server = <server_ip> 
database = <db_name> 
username = <db_user> 
password = <password> 
port='1443'

conn = pyodbc.connect('DRIVER={SQL Server};SERVER='+server+';PORT='+port+';DATABASE='+database+';UID='+username+';PWD='+ password)

#takes upto 12 minutes
rows = cursor.execute("select top 10000000 * from [LSLTGT].[MBR_DIM] ").fetchall() 

#Read cursor data into Pandas dataframe.....Takes forever!
df = pandas.DataFrame([tuple(t) for t in rows])

1 Ответ

0 голосов
/ 28 ноября 2018

Вы можете получить некоторое улучшение, используя выражение генератора, а не понимание списка: 

df = pandas.DataFrame((tuple(t) for t in rows))
...