Вкладка «Обнаружение Kibana» не отражает журналы в реальном времени. - PullRequest
Новая
       33

Вкладка «Обнаружение Kibana» не отражает журналы в реальном времени.

0 голосов
/ 15 мая 2018

У меня есть настройка ELK с Elastic Search, LogStash и Kibana, работающими на одной виртуальной машине. Журналы доставляются из другой службы, используя filebeat из другой виртуальной машины.

Версия Elastic Search: 0: 6.2.4-1

Я включил автоматическое обновление в Kibana с обновлением каждые 5 секунд, а также выбрал окно «Последние 15 минут» для отображения журналов.

Вопросы:

  1. Когда запускается файл, сразу же начинается доставка журналов. Я могу видеть это из журналов ударов файла. Однако новые журналы будут отражены в Кибане только через некоторое время с задержкой. Поведение не согласовано, и в некоторых случаях я вижу задержку до 30 минут. Это ожидается?

  2. Если при отключении обновления на экране Kibana (т.е. изменить с 5 секунд на «выкл.»), Подождите 15 минут, а затем снова включите обновление (с «выкл.» До 5 секунд). Какое должно быть поведение? Все эти 15 минут, хранилище журналов и ES фактически получают журналы, только что обновление Kibana отключено. а) он быстро покажет журналы за предыдущие 15 минут и начнет показывать новые журналы в режиме реального времени? б) или эта 15-минутная задержка сохраняется? Я имею в виду, теперь мы всегда видим журналы на Кибане с 15-минутной задержкой?

  3. Когда процесс создания файла остановлен, Kibana по-прежнему показывает некоторые журналы и продолжает обновляться. Я ожидаю, что, как только файл остановится, обновление журнала на kibana также должно быть остановлено с небольшой задержкой (порядка секунд). Но я вижу, что обновление журналов продолжается в течение следующих 1 часа или около того. Почему у Кибаны такое поведение? Я что-то пропустил ? Я также заметил, что, когда у Kibana нет новых журналов для отображения, я думаю, что он показывает старые журналы. Не уверен на 100%, но может ли это случиться?

Я искал по Google и по стеку, но на самом деле не смог получить никакой полезной информации. Либо быстрое объяснение и решение, либо любые указатели / ссылки, которые помогут в этом, будут мне полезны.

Спасибо.

1 Ответ

0 голосов
/ 15 мая 2018
  • logstash получает журналы (в вашем случае из filebeats) и отправляет их вasticsearch, возможно, выполняя некоторую фильтрацию или анализ журналов.По умолчанию журнал будет сохранен вasticsearch с датой, когда журнал был получен logstash;эта дата по умолчанию может быть заменена датой, проанализированной в журнале (в поле timestamp).
  • asticsearch сохраняет журналы и может возвращать их по требованию
  • kibana извлекает вasticsearch журналыв соответствии с его параметрами, в вашем случае, логи с timestamp за последние 15 минут

Чтобы ответить на ваши вопросы:

  1. Я не знаю, почему именноМне нужно больше информации.Вам следует задать вопрос с более подробной информацией (конфигурации, примеры журналов, данные, показанные в Kibana)
  2. Last 15 min в kibana запрашивает эластичный поиск журналов с timestamp между настоящим моментом и сейчас - 15 мин.Так что это будет в) кибана показывает журналы в режиме реального времени, игнорируя полученные ранее - 15 минут.
  3. Обновление журнала в Kibana будет продолжаться до тех пор, пока вы не попросите его прекратить, что остановка получения logstash нового журнала не остановит автообновление kibana.Кибана будет продолжать запрашивать у эластичного поиска бревна с timestamp между настоящим моментом и сейчас - 15 мин.Таким образом, если kibana продолжает показывать журналы по истечении 15 минут с момента остановки файлового бита, это означает, что в будущем существуют журналы, которые были помечены временными метками.

К вашему сведению, вы недолжен задавать несколько вопросов в одном вопросе StackOverflow.

...