Самый эффективный способ импортировать большие CSV-файлы в Cassandra - PullRequest
0 голосов
/ 03 мая 2018

У меня 12 CSV-файлов (всего ~ 36 ГБ), которые мне нужно загрузить в Cassandra. В настоящее время я выполняю задание по синтаксическому анализу CSV-файлов в объекте, а затем запускаю построчное выполнение вставки на Cassandra, и это занимает вечность (хх часов - что также может быть реальностью), но, возможно, кто-то знает гораздо более эффективный способ

Спасибо за спарринг.

1 Ответ

0 голосов
/ 03 мая 2018

Вы можете использовать Cassandra BulkLoader. Детали того, как выполнить загрузку, ясно объяснены здесь https://www.datastax.com/dev/blog/using-the-cassandra-bulk-loader-updated

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...