Вопрос производительности при импорте файла CSV в dolphindb - PullRequest
Новая
       83

Вопрос производительности при импорте файла CSV в dolphindb

1 голос
/ 09 февраля 2020

В dolphindb есть таблица A DFS A, для импорта 2,9 ГБ CSV-файла с помощью loadTextEx требуется всего 16 секунд. Существует также таблица B, такая же, как схема таблицы A, но для импорта файла данных csv объемом 28 ГБ в таблицу B потребовалось 26 минут, что в 10 раз больше, чем ожидалось. Почему? раздел и скрипт импорта следующим образом. Любые комментарии будут высоко оценены! 

x=50*seq(200,1000);
dbSendingTimeInNano = database(, VALUE,  2010.01.01..2030.12.31);
dbSecurityIDRange = database(, RANGE, x);
db = database("dfs://dolphindbL1", COMPO, [dbSendingTimeInNano, dbSecurityIDRange]);

nameCol = `serverID`tradeDate`sendingTimeInNano`origSendingTimeInNano`datafeedID`securityID`quoteField`quoteDepth`lastPrice`lastSize`lastAmount`openInterest`bidPrice`bidSize`askPrice`askSize`totalVolumeTraded`totalAmountTraded;
typeCol = [`INT,`LONG,`NANOTIMESTAMP,`NANOTIMESTAMP,`INT,`INT,`LONG,`LONG,`DOUBLE,`INT,`DOUBLE,`INT,`DOUBLE,`INT,`DOUBLE,`INT,`LONG,`DOUBLE];
schemaTb = table(1:0,nameCol,typeCol);
db = database("dfs://dolphindbL1");
l1fut = db.createPartitionedTable(schemaTb, `l1fut, `sendingTimeInNano`securityID);
schemaTb = table(nameCol,typeCol);
pt=loadTextEx(dbHandle=db,tableName='L1fut',  partitionColumns=`sendingTimeInNano`securityID,filename="f20200203.csv",delimiter=',');
...