Каков наилучший способ просмотра / анализа / фильтрации огромных трасс / файлов журналов?

Question

это, кажется, повторяющаяся проблема: мы получаем сообщение об ошибке для нашего программного обеспечения и вместе с ним множество следов или лог-файлов.
поскольку обнаружение ошибок намного проще, если визуализировать сообщения / события журнала с течением времени, удобно использовать инструмент, который может отображать ход событий на графике и т. д. (например, wireshark (http://www.wireshark.org) для анализа сетевого трафика)

Какой инструмент вы используете для этой цели?

проблема с большинством инструментов, которые я использовал до сих пор, заключается в том, что они беспощадно ломаются, когда вы отправляете им огромные следы данных (> 1 ГБ) поэтому некоторые критерии для такого инструмента были бы:

• может работать с огромными входными файлами (> 1 ГБ)
• действительно быстро (поэтому вам не нужно пить кофе во время загрузки файла)
• имеет какой-то механизм фильтрации

Answer 1

Хорошая тема для этого.Тим Брей (ранее в Sun, а теперь и в Google) несколько лет назад провел конкурс на написание сценариев, позволяющих создавать файлы журналов.время выполнения, масштабируемость.

Кроме того, подумайте о переходе на oldskool с AWK.В недавнем конкурсе он победил C / C ++ / Java, http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/

Answer 2

Поскольку каждый файл журнала имеет свой собственный формат, я боюсь, что нет готовых компонентов, которые бы отвечали вашим потребностям; Вы должны написать свой собственный визуализатор.