В кибане мы пытаемся упорядочить журналы на основе поля отметки времени (@timestamp).
пример
2020-04-03 12:58:05,47454 record 3
2020-04-03 12:58:05,47450 record 1
2020-04-03 12:58:05,47452 record 2
Но во время сортировки требуется всего три точность в миллисекундах (из-за ограничения LOGSTA SH), из-за этого ограничения журналы не упорядочены должным образом.
Чтобы преодолеть это, мы создали настраиваемое поле (second_index) в журналах, которое регистрирует 19 di git NANO TIME.
пример
2020-04-03 12:58:05,47454 1585915085620480454 record 3
2020-04-03 12:58:05,47450 1585915085620480420 record 1
2020-04-03 12:58:05,47452 1585915085620480439 record 2
Мы добавили это поле как поле t ie -breaker в расширенной настройке kibana. Тем не менее мы не смогли отсортировать журналы, используя этот вторичный_индекс.
Спецификация среды
1). elasti c search, logsta sh, kibana,
2). Python3 .7
3). Плагин ввода s3 для получения журналов от S3.
Примечание: Приложение, работающее в AWS ECS, и журналы записываются в консоль, от их перемещения до наблюдения за облаком. У нас нет настройки filebeat, поскольку у нас нет файлов на основе журналов)
Требуемое решение Нам нужна сортировка записей журнала на основе @timestamp и second_index. Возможен ли такой подход