Система распределенного журнала

Question

Мне нужно хранить журналы в распределенной файловой системе.

Допустим, у меня есть много типов журналов.Каждый тип журнала записывается в файл.Но этот файл может быть огромным, поэтому он должен быть распределен по многим узлам (с репликацией для обеспечения устойчивости данных).

Эти файлы должны поддерживать операции добавления / получения.

Существует ли распределенная система, котораяудовлетворяет мои потребности?

Спасибо!

Answer 1

Я бы порекомендовал Flume, инфраструктуру для сбора журналов от людей из Cloudera:

http://github.com/cloudera/flume

Вы также можете попробовать Scribe из Facebook:

http://github.com/facebook/scribe

Answer 2

Объедините NAS с базой данных no-sql, такой как MongoDB, и вы получите распределенный, большой и отказоустойчивый.

Конечно, без более подробной информации, такой как объем данных, структура журналов (или его отсутствие) и т. д., действительно трудно порекомендовать настоящий продукт.

Например, если под "огромным" подразумевается 2 ТБ или меньше, а данные сильно структурированы, то обычный сервер SQL вкластерная среда на 2 машины для аварийного переключения подойдет.

Однако, если под «огромным» вы подразумеваете уровень эксабайта или более и / или неструктурированные данные, то требуется несколько больших (и очень дорогих) устройств NAS.На котором вы запускаете набор баз данных no-sql, которые кластеризованы для отношений отказов / отказов и / или отношений с несколькими хозяевами ...

Answer 3

Вы можете использовать Logstash для сбора журналов и их централизации с помощью кластера Elasticsearch .Локальные журналы могут быть катящимися файлами журналов, так что они остаются маленькими.Далее вы можете использовать Graylog2 для анализа и просмотра ваших журналов.