Архитектура для регистрации большого количества данных, БД или файла?

Question

Я работаю над приложением Python. Я хочу быть масштабируемым, чтобы поддерживать около 150 операций записи в секунду. Это разбросано по 50 различным источникам.

Является ли Mongodb хорошим кандидатом для этого? Я разделен на записи в базу данных, или просто создаю файл журнала для каждого источника и анализирую их отдельно.

Любые другие предложения для регистрации большого количества данных?

Answer 1

Я бы сказал, что mongodb очень хорошо подходит для сбора журналов, потому что:

1. Mongodb имеет удивительные быстрые записи
2. Журналы не так важны, поэтому можно потерять некоторые из них в случае сбоя сервера. Таким образом, вы можете запустить mongodb без опции journaling , чтобы избежать затрат на запись.
3. Кроме того, вы можете использовать sharding для увеличения скорости записи, в то же время вы можете просто переместить самые старые журналы в отдельную коллекцию или в файловую систему.
4. Вы можете easy экспортировать данные из базы данных в json / csv.
5. Как только у вас будет все в базе данных, вы сможете запросить данные , чтобы найти нужный вам журнал.

Итак, мое мнение таково, что mongodb идеально подходит для таких вещей, как бревна. Вам не нужно управлять большим количеством файлов журналов в файловой системе. Mongodb делает это для вас.