Как хранить большие матрицы в DynamoDB? - PullRequest
Новая
       29

Как хранить большие матрицы в DynamoDB?

0 голосов
/ 20 июня 2019

У меня есть большая матрица, к которой мне нужно получить доступ очень быстро.Матрица состоит из 50 000 столбцов и порядка миллионов строк, состоящих из одной цифры.Значения в матрице - все числа.

У меня есть определенные операции, которые мне нужно выполнить с этой матрицей:

  1. Извлечение всех данных из одного столбца
  2. Извлечение всех данных из одной строки
  3. Выберите определенные строки и столбцы и верните матрицу для этого подмножества.
  4. Верните всю матрицу, разбитую на строки.

DynamoDB имеет многоОбращение ко мне по поводу Apache Cassandra или Apache Ignite из-за управляемой, серверной природы.Тем не менее, ограничение в 400 КБ на элемент очень ограничено.Это означает, что мы не можем хранить наши данные как 

row {
     col_1: value,
     col_2: value,
     ...
     col_n: value
}

или наоборот со столбцами.Сжатие строк в двоичные блоки также не будет работать - нам нужно иметь доступ к подмножествам (или ко всей) матрице с задержкой менее секунды.

Была ли эта проблема решена с помощью DynamoDB для кого-то еще?

...