Решение NoSQL для хранения массивов?

Question

Мне нужно масштабируемое NoSql решение для хранения данных в виде массивов для многих полей и отметок времени, где ключ является комбинацией field и timestamp.

Данные будут храниться в следующей схеме:

KEY -> "FIELD_NAME.YYYYMMDD.HHMMSS"

ЗНАЧЕНИЕ -> [v1, v2, v3, v4, v5, v6] (v1..v6 просто floats)

Например, предположим, что:

FIELD_NAME = "TOMATO"

TIME_STAMP = "20060316.184356"

ЗНАЧЕНИЯ = [72,34, -22,83, -0,938, 0,265, -2047,23]

Мне нужно иметь возможность получить VALUE (весь массив), учитывая комбинацию FIELD_NAME & TIME_STAMP.

Запрос VALUES [" TOMATO.20060316.184356 "] вернет вектор [72.34, -22.83, -0.938, 0.265, -2047.23]. Чтение массивов должно быть максимально быстрым.

Однако мне также нужен способ хранения (на месте) скалярного значения в массиве. Предположим, что я хочу присвоить 1-му элементу TOMATO на отметке времени 2006/03/16.18:43:56 значение 500.867. В таком случае мне нужен быстрый механизм для этого - что-то вроде:

ЗНАЧЕНИЯ [" TOMATO.20060316.184356 "] [0] = 500,867 (это приведет к обновлению на диске)

Есть идеи, какое решение NoSql подойдет для этого лучше (большой плюс, если оно имеет python интерфейс)? Я ищу быстрое, но мощное решение. мои потребности в данных вырастут примерно до 20 [ТБ].

Answer 1

Похоже, что MongoDB подойдет. PyMongo это API.

Answer 2

Ваши данные очень структурированы и регулярны; Какую выгоду вы видите в NoSQL по сравнению с более традиционной базой данных?

Я думаю MySQL Cluster звучит специально для вашей проблемы.

Edit:

@ user540009: Я согласен с тем, что существуют серьезные замедления на экземплярах MySQL с одним или с зеркальным отображением размером более половины терабайта, и никто не хочет иметь дело с ручным сегментированием; MySQL Cluster предназначен для решения этой проблемы, и я читал (хотя лично не играл) реализации до 110 терабайт.