Я хочу создать фрейм данных для каждого столбца SQL и сохранить их в списке.Поскольку мои данные огромны, я загружаю их порциями и затем добавляю их
Я попытался использовать следующее:
###create a list first
numdata={}
vars=['INITIAL_AMOUNT','LINE_AMOUNT','OUTSTANDING_DEBT'] ##these are names of few column in my sql table
###loop over sql columns and store them in a list
for names in vars:
chunks=pd.read_sql('SELECT names FROM mydb.dbo.mytable', conn, chunksize=100000)
numdata[names]=pd.concat(chunks)
Я ожидаю получить что-то вроде:
INITIAL_AMOUNT LINE_AMOUNT
0 600.0000 13500.2870
1 700.0000 1500.7567
2 500.0000 6409.0557
3 500.0000 12700.2870
....
но я получаю только имена переменных для каждой строки, как показано ниже:
0 INITIAL_AMOUNT LINE_AMOUNT
1 INITIAL_AMOUNT LINE_AMOUNT
2 INITIAL_AMOUNT LINE_AMOUNT
3 INITIAL_AMOUNT LINE_AMOUNT
Не могли бы вы помочь мне с этим?