Может ли CouchDB обрабатывать 15 миллионов записей в день?

Question

Я относительно новичок в базах данных NoSQL, и мне приходится оценивать различные NoSQL-решения для инструмента мониторинга.

Ситуация следующая: один элемент данных имеет размер около 100 байт, но их действительно много.В течение дня мы получаем около 15 миллионов записей ... Итак, в настоящее время я тестирую 900 миллионов записей (около 15 ГБ в виде скрипта SQL-Insert)

Мой вопрос: соответствует ли Couchdb моим потребностям?Мне нужно выполнить запросы диапазона (на дату создания записей) и суммировать некоторые столбцы в соответствии с группами, определенными «вторичными индексами», хранящимися в датуме.) Я знаю, что MapReduce, вероятно, является лучшим решением для вычисления этого,но способен ли JavaScript CouchDB сделать это в приемлемое время?

Я уже пробовал MongoDB, но он действительно плохой, MapReduce сделал дерьмовую работу ... Я также читал о HBase и Cassandra.Но, может быть, CouchDB также хорошая возможность

Я надеюсь, что дал вам всю необходимую информацию ... Спасибо за вашу помощь!

andy

Answer 1

Честно говоря, в настоящее время, если у вас нет очень хорошего оборудования, Apache CouchDB может столкнуться с проблемами. Карта / уменьшить, вероятно, будет хорошо. карта CouchDB для увеличения / уменьшения идеально подходит для ваших требований.

Как разработчик, вам понравится! К сожалению, как системный администратор, вы можете заметить больше использования диска и ввода-вывода, чем ожидалось.

Предлагаю попробовать. Будучи HTTP и Javascript, легко выполнить технико-экономическое обоснование. Просто помните, что первоначальная сборка представления займет много времени (давайте предположим, что для аргумента это займет больше времени, чем у любой другой конкурирующей базы данных). Но это время никогда не будет потрачено. Сопоставить / уменьшить количество прогонов только один раз для каждого документа (фактически для каждого обновления документа).

Если бренд Apache CouchDB работает медленно, но вам нравится отдыхать на диване, то кластер BigCouch определенно справится с этой нагрузкой без проблем. Я уверен, что существуют кластеры BigCouch с гораздо большими требованиями к данным и вводу / выводу, чем эта.