AWS Kinesis Analytics - проблема со схемой журнала доступа Apache

Question

Я пытаюсь использовать аналитику кинезиса поверх журнала доступа Apache.Я использую пользовательский формат, в котором есть код округа (используется модуль geoip).

Но схема не определяется должным образом.

Формат журнала:

LogFormat "%{GEOIP_COUNTRY_CODE}e %a %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined

Обнаружение схемы Kinesis:

Answer 1

Неважно, я нашел решение.

Как правило, Kinesis вполне подходит для схемы из какого-то стандартного формата.Даже в файле conf агента, если мы упомянем logformat:COMBINEDAPACHELOG, он обнаружит схему.

Но я использовал собственный формат журнала.Поэтому нам нужно вручную отредактировать схему и добавить недостающее поле.Также space не является хорошим выбором для разделителя.Поэтому я изменил разделитель как pipe в формате журнала apache.

Затем вручную отредактировал схему и упомянул трубу в качестве разделителя.После этого я получаю точные отформатированные данные.