NoSQL как локальное хранилище для регистрации и трассировки

Question

Мы разрабатываем приложение, которое будет иметь много физических серверов.Мы хотим использовать NoSQL для регистрации и трассировки, поскольку он не требует структурированных данных.

Мы не хотим иметь централизованное ведение журнала.

Можем ли мы установить NoSQL (любой) на каждом сервере и сохранить данные регистрации / трассировки?Повлияет ли NoSQL на мой процесс на сервере?Это хорошая идея?

Answer 1

Проблема 1: Сбор данных

Многие люди используют решения NoSQL для хранения журналов приложений.Первая трудность, с которой вы можете столкнуться, заключается в том, как надежно собирать огромные объемы данных из различных источников данных при простоте управления.Одной из проблем, связанных с отсутствием уровня сбора журналов, является конфликт блокировки базы данных, вызванный высокой пропускной способностью записи.

Поэтому в основном рекомендуется иметь уровень сбора журналов.Существует несколько реализаций с открытым исходным кодом, таких как syslog, Fluentd , Scribe и Flume :)

Проблема 2: Хранилище иОбработка

Следующая большая проблема - как хранить и обрабатывать данные.Внутренняя инфраструктура требует больших изменений по мере увеличения объема данных.Сначала вы можете использовать MongoDB для хранения всех ваших данных, но в какой-то момент вы в конечном итоге используете Apache Hadoop для создания масштабируемой архитектуры.

Вотпример архитектуры с использованием Fluentd для сбора журналов и MongoDB для хранения и обработки журналов.

Вот несколько ссылок для размещения журналов Apache в Amazon S3, MongoDB илиHadoop HDFS от Fluentd.

• Store Apache Logs в Amazon S3
• Store Apache Logs в MongoDB
• Fluentd + HDFS: мгновенный сбор больших данных

Отказ от ответственности: я являюсь сторонником проекта Fluentd.

Answer 2

определенно это хорошая идея, чтобы делать то же самое с nosql, а не с sql.потому что при ведении журнала и трассировке объем данных велик и коэффициент извлечения данных также высок.

вам для регистрации и трассировки нужны сложные отчетыанализ так что nosql лучше для вас.

также nosql поддерживает распределенную среду , поэтому вы создаете инфраструктуру в другом географическом положении.