Как вы визуализируете файлы журналов в реальном времени?

Question

Иногда это может быть полезно, но в основном это просто круто или впечатляюще - визуализировать файлы журналов (от запросов http и до пропускной способности до чашек кофе, выпиваемых в день). Я знаю о Visitorville , который, на мой взгляд, выглядит немного глупо, а тут есть gltail .

Как вы «визуализируете» свои файлы журналов в реальном времени?

Answer 1

Существует также инструмент logstalgia. Визуализирует логи Apache. См. http://code.google.com/p/logstalgia/ для получения дополнительной информации и видео на YouTube.

Answer 2

Вы могли бы взглянуть на это. http://www.intalisys.com. 3D-приложение для просмотра в реальном времени

Answer 3

Google выпустила API визуализации , который, вероятно, достаточно гибок, чтобы помочь вам:

API визуализации Google позволяет получить доступ к нескольким источникам структурированных данных, которые вы можете отобразить, выбирая из большого выбора визуализаций. API визуализации Google также предоставляет платформу, которая может использоваться для создания, совместного использования и повторного использования визуализаций, написанных сообществом разработчиков в целом.

Требуется знание Javascript и интеграция с Google Docs, интеграция с электронными таблицами. Проверьте Галерея для некоторых примеров.

Answer 4

Вы можете взглянуть на Apache Chainsaw. Этот изящный инструмент позволяет получать доходы от журналов практически везде и имеет живую фильтрацию и обработку. Если у вас уже есть записанный журнал, я не уверен, что он может его прочитать, прошло много времени с тех пор, как я использовал его в прошлый раз (было очень полезно для фазы прототипирования нашего сервера JBoss)

Answer 5

Не уверен, подходит ли это вопрос, но я только что выпустил:

• numStepCsvLogVis - анализировать данные журнала в формате CSV

Он использует Python matplotlib, мотивирован необходимостью визуализации данных системного журнала в контексте отладки циклического буфера ядра (и переменных) в C; и он визуализируется с использованием формата файла CSV в качестве посредника для данных файла журнала (я не могу объяснить это лучше вкратце - взгляните на README для более подробной информации).

У него есть «пошаговый» игрок, доступный в терминале, и он может обрабатывать «живой» ввод stdin, но, к сожалению, я не могу получить лучшего отклика, чем 1 FPS при рендеринге сюжета, поэтому я бы не стал его называть » realtime " per se - но вы можете использовать его для создания озвученных видео сюжетных анимаций.

Answer 6

Я в основном использую R для визуализации данных, но я слышал и о Orange .

Answer 7

Я предпочитаю Лесопилка для визуализации данных. Вы можете использовать любой файл журнала, и он не только автоматически определит свою структуру *, но и примет решение о том, как его проанализировать. Даже если у вас есть собственный файл журнала, вы все равно можете определить, что и как следует анализировать и визуализировать.

Answer 8

Мы используем Awk и сценарии Perl для синтаксического анализа файлов журнала и создания сводных отчетов и «баз данных» (технически базы данных в каждой строке соответствуют уникальному событию со множеством столбцов данных об этом событии, но не хранится в традиционном формате базы данных. Мы движемся в этом направлении). Мне нравится Awk, потому что вы можете очень быстро искать определенные строки в файлах журналов с помощью регулярных выражений, вести счетчики и собирать данные из записей файла журнала, а также выполнять все виды вычислений с этими данными. Тогда используйте ваше любимое программное обеспечение для печати. Мы используем Excel, главным образом потому, что это было здесь до того, как я начал эту работу. Я предпочитаю MATLAB и его двоюродного брата с открытым исходным кодом, Octave , который построен на gnuplot.

Answer 9

Простым решением является использование Logstalgia вместе с легким локальным веб-сервером .

Сначала установите вышеуказанное. Затем из корневой папки вашего сайта визуализируйте свои журналы в реальном времени с помощью:

$ ws --log-format default | logstalgia -

Answer 10

С помощью SciTe, Notepad ++ или другого мощного текстового редактора, в котором есть процедуры обработки файлов, так что вы можете создать скрипт, который раскрасит части журнала или просто удалить из него несколько неважных строк