я отправляю Nginx логов через filebeat -> elasti c search -> Kibana. Но уже есть проблемы с некоторыми журналами.
Похоже, что этот тип журнала обрабатывает без проблем:
66.249.76.123 - - [24 / Apr / 2020: 17: 24: 51 +0200] "GET / HTTP / 1.1" 200 5249 "-" "Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (K HTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимо; Googlebot / 2.1; + http://www.google.com/bot.html) "
, но с другой стороны похожий журнал:
62.197.243.55 - - [24 / Apr / 2020: 17: 29: 22 +0200] "GET / HTTP / 1.1" 200 5252 "-" "Mozilla / 5.0 (Macintosh; Intel Ma c OS X 10_15_3) AppleWebKit / 537.36 (K *) 1032 *, как Gecko) Chrome / 80.0.3987.163 Safari / 537.36 "
выдает ошибку в системный журнал -
24 апреля, 17:29:31 prodserver filebeat [12562]: 2020-04-24T17 : 29: 31.497 + 0200 # 011WARN # 011elasticsearch / client. go: 517 # 011Нет индексации издателя событий. Событие {Content: beat.Event {Timestamp: time.Time {wall: 0xbfa0df569acc421 c, ext: 321343689727, lo c: (* time.Location) (0x5003080)}, мета : {"pipe": "filebeat-7.6.2- nginx -access-default"}, поля: {"agent": {"ephemeral_id": "3d9ae7ae-c460-4e7b-b994-f10a681cc10b", "hostname" : "prodserver", "идентификатор": "58d1eb1d-9c09-485d-ad7f 28b0066a0054-", "тип": "filebeat", "вариант": "7.6.2"}, "" ЭКС: { "версия":» 1.4.0 "}," событие ": {" набор данных ":" nginx .access», "модуль": "nginx", "часовой пояс": "+ 2:00"}, "набор файлов": { "название": "доступ"}, "хозяин": { "имя": "prodserver"}, "вход": { "Тип": "журнал"}, "журнал": { "файл": { "путь" : "/ var / log / nginx / denevy.access.log"}, "offset": 483636}, "message": "62.197.243.55 - - [24 / Apr / 2020: 17: 29: 22 +0200] \ "GET / HTTP / 1.1 \" 200 5252 \ "- \" \ "Mozilla / 5.0 (Macintosh; Intel Ma c OS X 10_15_3) AppleWebKit / 537.36 (K HTML, как Gecko) Chrome / 80.0.3987.163 Safari / 537.36 \ "", "service": {"type": "nginx"}}, Личное: file.State {Id: "", Завершено: false, Fileinfo: (* os.fileStat) (0xc0008c4d00), Источник: "/ var / log / nginx / denevy.access.log", Смещение: 483837, Метка времени: time.Time {wall: 0xbfa0df0e51ae7c7f, ext: 32190743674, lo c: (* time.Location) (0x5003080)}, TTL: -1, Тип: "log", Meta: map [string] string (nil), FileStateOS: file.StateOS {Inode: 0x2466a, Device: 0xfc00}}, TimeSeries: false}, Flags: 0x1, Cache: publisher.EventCache {m: common.MapStr (nil)}} (status = 400): {"type ":" mapper_parsing_exception "," reason ":" не удалось проанализировать поле [user_agent.version] типа [date] в документе с идентификатором 'ZJ_OrHEBZWkJKYxN4WlY'. Предварительный просмотр значения поля: '80 .0.3987.163 '"," said_by ": { "type": "invalid_argument_exception", "reason": "не удалось проанализировать поле даты [80.0.3987.163] с форматом [strict_date_optional_time || epoch_millis]", "reason_by": {"type": "date_time_parse_exception", "reason": "Не удалось разобрать ih все вложенные парсеры "}}}
начинается проблема:
{" type ":" mapper_parsing_exception "," reason ":" не удалось проанализировать поле [user_agent.version] типа [date ] в документе с идентификатором 'ZJ_OrHEBZWkJKYxN4WlY'. Предварительный просмотр значения поля: '80 .0.3987.163 '"," reason_by ": {" type ":" invalid_argument_exception "," reason ":" не удалось проанализировать поле даты [80.0.3987.163] с форматом [strict_date_optional_time || epoch_millis] ", "reason_by": {"type": "date_time_parse_exception", "reason": "Не удалось выполнить синтаксический анализ со всеми вложенными синтаксическими анализаторами"}}}
любая идея, почему 99% моих журналов работают хорошо, но введите с помощью chrome: "(K HTML, как Gecko) Chrome /" - возникла проблема с синтаксическим анализом. Не удалось проанализировать поле [user_agent.version]
Использование Filebeat / Elasticsearch / Kibana - версия 7.6.2
Спасибо за совет