Как данные отображаются в поиске Elasti c в ELK? - PullRequest
Новая
       97

Как данные отображаются в поиске Elasti c в ELK?

0 голосов
/ 08 апреля 2020

Я новичок в ELK и изучаю его. В моем проекте они импортируют данные из Amazon S3 -> File Beat -> logsta sh -> Elasti c search -> Kibanna.

В файле logsta sh они имеют непосредственно импортируя данные и отправляя их в Elasti c, выполните поиск, подобный приведенному ниже, и в файле конфигурации не было упомянуто никаких индексов: 

output  elasticsearch 
{
hosts => ["http://localhost:9200"]
}

В Amazon s3 у нас есть журналы от Salesforce, и в будущем мы собираемся реализовать из нескольких источников.

В поиске Elasti c я мог видеть 41 индекс (используется скрипт Get Curl). Предположим, что если мы сохраним ту же настройку в logsta sh, то все журналы (несколько источников) будут отправлены на поиск elasti c таким же образом. Я хотел бы знать, как данные сопоставляются с определенным индексом в elasti c search ??

Во многих руководствах они приводят индексы в конфигурации logsta sh файл, так что в kibanna мы могли видеть имя индекса вместе с отметкой времени. Я попытался проверить, поместив образец файла журнала Mulesoft в Amazon S3, но не могу найти эти данные в Kibanna. Так что мне нужно создать еще один новый индекс с именем Mule вместе с отображениями ??

В моем проекте нет специалиста ELK, поэтому, пожалуйста, объясните мне, как подойти к этому, или любые ссылки будут более полезными.

1 Ответ

1 голос
/ 08 апреля 2020

На этой странице (https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html) документируется подключаемый модуль вывода Elasticsearch Logsta sh.

Как видно в разделе «Параметры конфигурации», параметр index имеет значение не обязательно. Если этот параметр не указан, его значением по умолчанию является logstash-%{+YYYY.MM.dd}.

С учетом вышесказанного документы будут индексироваться по индексам с префиксом 'logsta sh -', за которым следует дата приема. Например:

  • logsta sh -2020.04.07

  • logsta sh -2020.04.08

Поскольку в вашей организации кто-то выбрал go со значением по умолчанию, этот параметр можно не указывать. Это объясняет, почему вы не можете найти конкретное имя индекса в конфигурации Logsta sh. Если вам нужно проиндексировать документы в разные индексы, вам нужно будет установить конкретное значение для опции index.

Elasticsearch автоматически создаст эти индексы с динамическим отображением c (https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-mapping.html), если вы заранее не настроили явное отображение с помощью шаблонов индекса. Чтобы увидеть данные в kibana, сначала нужно создать шаблон индекса, соответствующий имени индекса.

Я надеюсь, что смогу вам помочь.

...