log4j Индексирование журнала с использованием Solr

Question

Нам очень трудно отслеживать журналы, распределенные по кластеру из четырех управляемых серверов. Итак, я пытаюсь создать простой app4 log4j, который использует Solrj API для хранения журналов на сервере Solr. Идея состоит в том, чтобы использовать REST от solr для создания лучшего графического интерфейса, который может помочь нам

1. поиск в журналах и отображение предыдущей и следующих 50 строк или около того и
2. Хвост бревна

Будучи ужасным во внешнем интерфейсе, я пытаюсь что-то приготовить с помощью GWT (версия прототипа). Я планирую разместить проект на googlecode под ASL.

Очень признателен, если бы вы могли дать некоторые идеи

1. Имеет ли смысл создавать такой проект?
2. Использование Solr для этого является излишним?
3. Любые предложения по веб-фреймворку / инструменту, которые помогут мне создать интерфейс на основе вкладок для хвостовой части.

Answer 1

Вы можете использовать комбинацию logstash (для доставки и фильтрации журналов) + asticsearch (для индексации и хранения) + kibana (для симпатичного графического интерфейса пользователя) ).

Answer 2

Люди из loggly также создали logstash , что может быть подкреплено несколькими вещами, включая lucene посредством упругого поиска.Он также может пересылать в Graylog.

Answer 3

Совершенно выполнимая вещь. Многие люди сделали ролл самостоятельно. Несколько полезных ссылок ... есть онлайн-сервис, www.loggly.com, который делает это. Они на самом деле основаны на Solr как ядре хранения данных! Очевидно, они создали собственный интерфейс.

Другой вариант - http://www.graylog2.org/. Это с открытым исходным кодом. Не поддерживается Solr, но все еще очень круто!