Как выборочно пересылать файлы журналов по определенным индексам в Splunk? - PullRequest
Новая
       11

Как выборочно пересылать файлы журналов по определенным индексам в Splunk?

0 голосов
/ 27 апреля 2018

Можно ли выборочно пересылать файлы журналов в определенные индексы в Splunk.

Я хочу переслать Docker-контейнер с 3 журналами служб в индексатор Splunk, проблема в том, что если я использую драйвер ведения журнала Docker, все данные, записанные в STDOUT, отправляются в тот же индекс, и сегрегация данных невозможна. Вместо того, чтобы настроить пересылку и иметь возможность отправлять журналы, но все идут с одним и тем же индексом, я хочу настроить пересылку Spunk для отправки определенных журналов по определенному индексу.

1 Ответ

0 голосов
/ 28 апреля 2018

Позвольте мне начать с самого начала. Запуск нескольких процессов в одном контейнере - это анти-шаблон. Старайтесь избегать этого как можно больше. Например, у Kubernetes есть отличное решение для вашего случая, когда они могут развернуть два контейнера в одном модуле и просто настроить связь между контейнерами в одном и том же петлевом сетевом интерфейсе (127.0.0.1), поэтому для процессов это будет выглядеть как будто они работают в одном контейнере. Подробнее см. https://kubernetes.io/docs/tasks/access-application-cluster/communicate-containers-same-pod-shared-volume/.

Если вы все еще хотите, чтобы все три процесса были в одном контейнере, у вас есть два варианта получения журналов с разными индексами:

маршрутизация по индексатору

Если вы можете идентифицировать журналы на стороне индексатора, вы можете пересылать журналы, как обычно, и с помощью transforms.conf на стороне индексатора направить их к определенному индексу, см. http://docs.splunk.com/Documentation/Splunk/latest/Admin/Transformsconf

[nginx_route] 
DEST_KEY = _MetaData:Index 
REGEX = nginx .*
FORMAT = index_nginx

обход журналов контейнеров

Другой вариант. Вы можете создать том для журналов, который вы будете использовать совместно с вашим контейнером и сервером пересылки (Splunk Universal Forwarder) или нашим сборщиком (https://www.outcoldsolutions.com).). В конфигурации укажите, к какому индексу вы хотите пересылать эти журналы. В вашем контейнере вам нужно будет изменить способ записи логов, вместо стандартного ввода, записывать их в файлы.

...