Не можете использовать filebeat [beat] [timezone] с плагином фильтра даты logstash? - PullRequest
Новая
       11

Не можете использовать filebeat [beat] [timezone] с плагином фильтра даты logstash?

0 голосов
/ 11 марта 2019

Я отправляю файл журнала в logstash, используя filebeat, который не кодирует часовой пояс в метке времени.В течение многих месяцев я заполнял плагин фильтра дат logstash с добавленным [beat] [timezone], используя формат аббревиатуры обработчика файлового ритма «add_locale».У меня есть серверы в нескольких часовых поясах по всему миру, и когда сегодня на восточном побережье США время изменилось с EST на EDT, в logstash появились ошибки синтаксического анализа часового пояса с новым значением часового пояса, потому что filebeat отправил EDT, который не является действительным каноническим идентификатором часового пояса.для logstash (http://joda -time.sourceforge.net / timezones.html ).У меня одна и та же проблема с CEST и CET.

Возможно ли, что filebeat и logstash используют разные форматы файловых часовых поясов?

FILEBEAT 

processors:
- add_locale:
    format: abbreviation

LOGSTASH 

date {
    locale => "en"
    match => ["corp.log.entryTimestamp", "yyyy-MM-dd HH:mm:ss,SSS"]
    timezone => "%{[beat][timezone]}"
    tag_on_failure => ["timestamp_parse_failed"]
    target =>  "@timestamp"
}

Похоже, filebeat просто возвращает то, что go возвращает.

Кто-нибудь нашел обходной путь для этого?

спасибо!

Питер

1 Ответ

0 голосов
/ 12 марта 2019

Как правило, не стоит разбирать сокращения часовых поясов.Помимо указанных вами случаев, слишком много неясностей.

Рассмотрим «CST».Это центральное стандартное время (США), центральное стандартное время (Австралия), стандартное время Китая, стандартное время Кубы, что-то еще?

Допустимыми идентификаторами часовых поясов IANA являются только несколько сокращений.За исключением UTC, они, как правило, не приветствуются.Они существуют только по причинам обратной совместимости в нескольких случаях.

В случае меток времени в файлах журналов сокращения в значительной степени бесполезны, и вам, вероятно, не нужен полный идентификатор часового пояса, такой как America/New_York,Было бы достаточно иметь смещение от UTC, которое действовало на момент записи, например, -05:00 (во время EST) или -04:00 (во время EDT)

Действительно, согласно файлу документы , формат по умолчанию - offset.Я бы придерживался этого.

...