Используйте filebeat для загрузки файла журнала JSON - PullRequest
Новая
       6

Используйте filebeat для загрузки файла журнала JSON

0 голосов
/ 29 декабря 2018

Итак, у меня есть файл журнала, каждая строка которого является объектом json.Я хочу иметь возможность отправлять эти файлы журналов напрямую вasticsearch, а затем, надеюсь, эластичный будет принимать данные.

Я почти уверен, что мне нужно объявить конкретный шаблон для этого.Тем не менее, я не уверен, как, и был бы рад получить некоторые рекомендации о том, как сделать это правильно.

1 Ответ

0 голосов
/ 30 декабря 2018 
   #Filebeat Configuration
filebeat:
  # List of prospectors to fetch data.
  prospectors:
    # Each - is a prospector. Below are the prospector specific configurations
    -

      paths:
        #- /var/log/*.log
        - ${applicationLogsPath}
      document_type: application_logs

      # Mutiline can be used for log messages spanning multiple lines.
      multiline:

        # The regexp Pattern that has to be matched. The example pattern matches all lines starting with [
        pattern: ^%{TIMESTAMP_ISO8601}

        # Defines if the pattern set under pattern should be negated or not. Default is false.
        negate: true

        # Match can be set to "after" or "before". It is used to define if lines should be append to a pattern
        # that was (not) matched before or after or as long as a pattern is not matched based on negate.
        # Note: After is the equivalent to previous and before is the equivalent to to next in Logstash
        match: after

    # Additional prospector
    -
      paths:
        - ${iisLogsPath}
      document_type: iis_logs

# Configure what outputs to use when sending the data collected by the beat.
# Multiple outputs may be used.

output:

  ### Logstash as output
  elasticsearch:
    # The elasticsearch hosts
    hosts: ["${elasticsearchHost}:9200"]

    # Number of workers per Logstash host.
    #worker: 1

    # The maximum number of events to bulk into a single batch window. The
    # default is 2048.
    #bulk_max_size: 2048

Это шаблон по умолчанию, который я использую для загрузки журналов вasticsearch через Filebeat. Вы также можете отправлять журналы в logstash и фильтровать ваши журналы для сбора необходимой информации, а затем позволить logstash пересылать журналы в Elasticsearch..

Пожалуйста, дайте мне знать, если вам нужно что-то еще ..

Спасибо,

...