Ваши проблемы с использованием Spunk

Question

В нашем приложении мы регистрируем важную информацию для регистрации текстовых файлов для последующей отладки. С splunk легко выявить проблему, если у меня уже есть некоторые точки данных, такие как номер заказа или тип ошибки "ссылка на объект не найден". Но это вызов для меня, чтобы получить общее представление о проблеме, используя Splunk. Чтобы определить реальную проблему в программном обеспечении, мне нужно прочитать, возможно, несколько файлов журнала или весь файл журнала, чтобы увидеть, что приложение делало до того, как возникла проблема. Чтение всего файла журнала по-человечески помогает мне определить, как приложение вело себя с другими точками данных до того, как возникла реальная проблема. Другими словами, мне трудно увидеть «настоящую причину» ошибки с splunk. Какой у вас был опыт в области разработки программного обеспечения?

Answer 1

Место, где можно задавать вопросы о спланке:

http://splunkbase.com

, где есть сообщество людей, которые помогут вам ...

@ Cninroh не правна большинстве аккаунтов.Я работаю в Splunk в разработке.

1. с помощью splunk Вам НЕ нужно изменять приложение или логи
2. события без дат будут работать нормально.

3. Вы можете сделать поиск, чтобы найти причину, как вы хотите.Вам нужно выработать поиск в соответствии с вашими потребностями.Я не знаю ваших данных, но, например, при поиске ниже будет обнаружен пользователь, который вошел в систему как root прямо перед «дисковой ошибкой» ...

   login root [ search disk-error | head 1 | eval latest = _time - 5*60 ] | head 1

Вы также можете настроить оповещение для поиска аномальных значений и других неожиданных вещей, чтобы вам не приходилось активно искать проблемы.Их можно подтолкнуть к вам.

Answer 2

Очень трудно удалить человеческий аспект.Тем не менее, недавно мне пришлось возглавить разработку спонтанного развертывания, и есть несколько фантастических инструментов, чтобы хотя бы удовлетворить некоторые ваши потребности.Использование встроенных предупреждений Splunk - это самый простой способ сделать это.К сожалению, существует нехватка реальных практических ответов и примеров для многих связанных со спленком вещей (я имею в виду, серьезно, не используйте curl с незащищенным флагом для каждого примера веб-сервиса или остальных API, пожалуйста) как в SpunkBase, так и в других местах наinternet.

В любом случае, одним из самых элегантных решений, которые я нашел для поиска журналов определенных типов или данных журналов, было интенсивное использование передачи команды "rex" в моих поисках.Он определит регулярные выражения Perl для помощи в извлечении правильной информации из правильных полей. Вот новая страница с сайта Splunk.

Это, конечно, предполагает, что вы знаете, какие поля содержат данные, которые вы ищете.К сожалению, это может быть проблемой с журналами Windows, если в индексаторе не все настроено правильно.

Answer 3

Точно так же, как вам нужно научиться читать и оценивать файл журнала, вам нужно научиться использовать Splunk, чтобы использовать свои усилия.

Для разработчика, выполняющего код на одной машине, вы можете легко прочитать один файл журнала и посмотреть, что произошло когда.Выпустив этот код и запустив многоуровневую или распределенную архитектуру, вы не сможете легко отследить, что произошло, где и когда отследить проблему.Возможно, у вас даже нет доступа к журналам производственной системы.

Вот пример.Найдите свою ошибку с помощью простого поиска по ключевым словам.Нажмите на отметку времени интересного события.Это привязывает временной диапазон Splunk к 1 секунде.Очистите поиск по ключевым словам и введите *, чтобы увидеть все события в течение этой 1 секунды.Ограничьте хосты и устройства, с которых вы видите события, интересующими вас системами / приложениями.

Теперь вы видите события со всех ваших систем, участвующих в приложении, в одном представлении.Вы можете уменьшить время, если необходимо, чтобы поймать корневые события.Используйте команду «| reverse», если вы хотите читать в хронологическом порядке - сверху (самый старый), чтобы снизу (самый новый) вместо обратного хронологического порядка по умолчанию в Splunk.

Как только вы обнаружите свою проблему, вы можете преобразовать этот поискв предупреждение Splunk, так что вы получите уведомление в будущем.После исправления этой проблемы вы можете оставить предупреждение включенным, так что если ваше исправление не было эффективным на 100% во всех ситуациях или не попадало в ваш следующий основной / вспомогательный выпуск, вы получите уведомление.

Answer 4

Чтобы Splunk работал так, как вы, вероятно, хотите (судя по вашему описанию), вам «придется» изменить некоторые части вашего приложения, чтобы они соответствовали подходу Splunk к индексированию и хранению данных.

Splunk опирается на индексы событий, причем эти события являются сообщениями об ошибках или состояниями из различных журналов в системе. Основной целью индекса Splunk является дата, поэтому отсутствие дат означает отсутствие индекса, что впоследствии приведет к меньшему количеству результатов поиска в результатах поиска Splunk.

Хорошей практикой также является сохранение списка или шпаргалки с различными поисковыми терминами для разных ситуаций, чтобы впоследствии вы могли легко генерировать результаты, которые вы когда-то нашли как успешные.

В нашей компании мы создали специальную версию программного обеспечения только для клиентов, которые решили использовать Splunk в качестве своего предпочтительного инструмента мониторинга. Единственное отличие в основном между этим пользовательским приложением и нашим стандартным приложением состоит в том, что оно очень сильно полагается на запись всех своих действий в файлы журнала и сохранение их в логических событиях с помощью действия "segemtn - время - первопричина - группа пользователей - файл - действие - результат - заметка " Это помогает нам находить и выявлять проблемы в режиме реального времени и с гораздо меньшими затратами, чем раньше.