Массовое копирование из столбца таблицы Кассандры в файл

Question

У меня есть требование скопировать столбец базы данных кассандры в файл.
База данных содержит 15 миллионов записей, в которых есть столбцы ниже.Я хочу скопировать данные столбца платежа в файл.Так как это производственная среда, которая будет приводить к нагрузке на кластеры кассандры.

userid      | contract | payment | createdDate

Есть предложения?

Из 15 миллионов деталей платежа мы хотим изменить несколько (в зависимости от некоторых условий) ивставить в другую таблицу Cassandra.

Копирование в файл -> обработать его -> записать в новую таблицу базы данных.это план.но прежде всего, как получить копию столбца из базы данных кассандры.

С уважением, Киран

Answer 1

Вы можете использовать Spark + Spark Cassandra Connector (SCC) для выполнения загрузки, изменения и записи данных.SCC имеет несколько ручек, которые можно использовать для настройки пропускной способности, чтобы не перегружать кластер при чтении и записи.

Если у вас нет Spark, вы все равно можете использовать аналогичный подход при извлечении данных, но невыдача select * from table (это приведет к перегрузке узла, обрабатывающего запрос), но вместо этого выполнит загрузку данных по определенным диапазонам токенов, чтобы запросы отправлялись на разные серверы и не перегружали их слишком сильно.Вы можете найти пример кода, который выполняет сканирование по диапазонам токенов здесь .