Инструменты для уменьшения больших файлов журналов

Question

Я работаю с огромными файлами журналов - 1 ГБ или около того, в которых много пользовательских сессий, в то время как я забочусь только об одном сеансе.

Обычно я могу сузить общую область файла, которая покрывает сеансЯ заинтересован только в поиске идентификатора сессии (занимает 2 + минуты).После этого я хочу удалить данные до и после событий, произошедших в пользовательском сеансе, чтобы ускорить последующие поиски (поскольку теперь я сузил область интереса).

Мне нравится загружать огромный журналфайлы в Google Chrome и использовать функцию подсветки поиска, которая отображает область интереса с маркерами на полосе прокрутки, но на самом деле она не работает с файлами размером более 200 МБ и не позволяет мне удалять ненужные части журналов, чтобы сделать последующиепоиск быстрее.

Я думаю, что это общая проблема.Если бы я мог найти такой инструмент, это сэкономило бы много времени.

Спасибо.

Answer 1

Splunk - хороший инструмент для мониторинга и анализа логов.Возможно, он охватывает немного больше, чем нужно, но на это определенно стоит взглянуть.Доступна бесплатная лицензия, которая ограничена 500 МБ / день, и корпоративная лицензия, если вы хотите полностью ( таблица сравнения лицензий ).

Answer 2

многие инструменты командной строки Unix помогают с такими вещами. Особенно grep позволяет найти строки, содержащие какую-либо строку или шаблон (идентификатор сессии). По умолчанию он возвращает строку, но я также могу вернуть n строк до или после.