Создайте собственный шаблон Grok - PullRequest
0 голосов
/ 21 апреля 2020

Я работал с logsta sh, чтобы структурировать следующие типы журналов:

14 апреля 2020 г. 22: 49: 02,868 [INFO] 1932a8e0-3892-4bae-81e3-1fc1850dff55-LPmAoB (coral- клиент-оркестратор-сорок одна тысяча семьсот восемьдесят шесть) hub_delivery_audit: RequestContext {CONTAINER_ID = 200414224842439045902810201AZ, TRACKING_ID = TSTJ8N7GLBS0ZZW, PHYSICAL_ATTRIBUTES = PhysicalAttributes (длина = размер (значение = 30,0, единица = СМ, тип = NULL), ширина = размер (значение = 30,0, блок = CM , тип = NULL), высота = размер (значение = 30,0, единица = СМ, тип = NULL), scaleWeight = Вес (значение = 5,0, единица = кг, тип = NULL)), SHIP_METHOD = AMZN_US_PRIME, ADDRESS_ID = LDI7ICATBZNOAQNW634MG057BMA07370713J4ZQ1VGOMB7KPXTQ2EIA2OX4CKT7L, CUSTOMER_ID = A07370713J4ZQ1VGOMB7K, REQUEST_STATE = UNKNOWN, RESPONSE = GetAccessPointsForHubDeliveryOutput (destinationLocation = ноль, fallBackLocation = ноль, возможность = ноль), IS_COMMERCIAL_ATTRIBUTE4 * * 100 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * "*" 1006 * CONTAINER_ID

TRACKING_ID

PHYSICAL_AT TRIBUTES

SHIP_METHOD

ADDRESS_ID

REQUEST_STATE

RESPONSE

Но я не могу найти подходящий фильтр для такого большого журнала событие. Я попытался использовать https://grokdebug.herokuapp.com/ и изучил документацию Logsta sh grok, но все еще не смог извлечь необходимые поля. Я мог только придумать это:

% {MONTHDAY: monthday}% {MONTH: month}% {YEAR: year}% {TIME: time} [% {LOGLEVEL: logLevel}]% {HOSTNAME}

Пожалуйста, предложите подход к этому и как напрямую фильтровать следующие поля без создания дополнительных полей, таких как время и дата.

1 Ответ

0 голосов
/ 22 апреля 2020

Я пробовал следующий шаблон Grok

{CONTAINER_ID=%{DATA:container_id}, TRACKING_ID=%{DATA:tracking_id}, PHYSICAL_ATTRIBUTES=PhysicalAttributes%{DATA:physical_attributes} SHIP_METHOD=%{DATA:ship_method}, ADDRESS_ID=%{DATA:address_id}, CUSTOMER_ID=%{DATA:customer_id}, REQUEST_STATE=%{DATA:request_state}, RESPONSE=%{GREEDYDATA:response}(?=,)

в отладчике Grok (https://grokdebug.herokuapp.com/)

Вывод: enter image description here

...