Загрузка огромных таблиц с помощью INSERT INTO test VALUES в MonetDBLite - PullRequest
0 голосов
/ 28 марта 2019

В моем случае использования я генерирую данные во время выполнения, и стоимость сериализации таких данных в CSV-файл и последующей загрузки в MonetDBLite с использованием COPY будет потенциально больше, чем при использовании чего-то вроде INSERT INTO tablename VALUES.Учитывая, что MonetDBLite не использует DBConnections, как в ODBC / iODBC, означает ли это, что мне не нужно очищать память, используя явные операторы COMMIT, или мне все равно нужно запускать COMMIT после загрузки некоторых ГБ данных втаблица, чтобы не занимать всю доступную первичную память?Заранее спасибо.

1 Ответ

1 голос
/ 28 марта 2019

Какой MonetDBLite вы используете? Я думаю, вы можете использовать приложения из памяти для очень быстрой загрузки данных. Для R / Python мы можем напрямую добавлять данные из фреймов данных, для C этот процесс немного менее удобен.

...