aws cloudwatch -> logstash -> эластичное облако |[ОШИБКА] [logstash.pipeline] Ошибка регистрации плагина - PullRequest
0 голосов
/ 01 июля 2019

Я работаю logstash v6.8.1 на экземпляре aws ec2 linux 2 ami.Я успешно установил logstash.

Я использую logstash для получения логов от aws cloudwatch с помощью этого плагина https://github.com/lukewaite/logstash-input-cloudwatch-logs.Я успешно установил плагин.

Я нахожусь в каталоге /usr/share/logstash.

Я использую команду sudo bin/logstash --path.settings /etc/logstash/ -f config/cloud_watch.conf

Это мой cloud_watch.conf файл

 input {
        cloudwatch_logs {
        log_group => [ "/my/log/group" ]
        region => "us-west-2"
        access_key_id => "access_key"
        secret_access_key => "secret_key"
        }
}
output {
        elasticsearch {
        hosts => "https://xxxxxxxx.us-west-1.aws.found.io:9243"
        user => "elastic"
        password => "my_password"
        }
    stdout { }
}

Когда я запускаю эту команду, я получаю это сообщение об ошибке

Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2019-07-01T19:33:17,229][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2019-07-01T19:33:17,261][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.8.1"}
[2019-07-01T19:34:05,286][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2019-07-01T19:34:06,506][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[https://elastic:xxxxxx@41e8f9885e01498aaa03909926286fc9.us-west-1.aws.found.io:9243/]}}
[2019-07-01T19:34:07,754][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"https://elastic:xxxxxx@41e8f9885e01498aaa03909926286fc9.us-west-1.aws.found.io:9243/"}
[2019-07-01T19:34:08,126][ERROR][logstash.pipeline        ] Error registering plugin {:pipeline_id=>"main", :plugin=>"#<LogStash::OutputDelegator:0x6d3bd20a>", :error=>"Unexpected character ('<' (code 60)): expected a valid value (number, String, array, object, 'true', 'false' or 'null')\n     
at [Source: (byte[])\"<!DOCTYPE html><html lang=\"en\"><head><meta charset=\"utf-8\"><meta http-equiv=\"X-UA-Compatible\" content=\"IE=edge,chrome=1\"><meta name=\"viewport\" content=\"width=device-width\"><title>Kibana</title><style>/* INTER UI FONT */\n/
* INTER UI FONT */\n/* INTER UI FONT */\n/* INTER UI FONT */\n@font-face {\n  font-family: 'Inter UI';\n  font-style:  normal;\n  font-weight: 100;\n  src: url(\"/ui/fonts/inter_ui/Inter-UI-Thin-BETA.woff2\") format(\"woff2\"),\n      url(\"/ui/fonts/inter_ui/Inter-UI-Thin-BETA.woff\") format\"[truncated 73333 bytes]; line: 1, column: 2]", :thread=>"#<Thread:0x66dd4fdf run>"}
[2019-07-01T19:34:08,136][ERROR][logstash.pipeline        ] Pipeline aborted due to error {:pipeline_id=>"main", :exception=>#<LogStash::Json::ParserError: Unexpected character ('<' (code 60)): expected a valid value (number, String, array, object, 'true', 'false' or 'null')
at [Source: (byte[])"<!DOCTYPE html><html lang="en"><head><meta charset="utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="viewport" content="width=device-width"><title>Kibana</title><style>/* INTER UI FONT */
/* INTER UI FONT */
/* INTER UI FONT */
/* INTER UI FONT */
@font-face {
  font-family: 'Inter UI';
  font-style:  normal;
  font-weight: 100;
  src: url("/ui/fonts/inter_ui/Inter-UI-Thin-BETA.woff2")     format("woff2"),

Сообщение об ошибке продолжается довольно много строк.

Когда я изменяю cloudwatch.conf на это

input {
        cloudwatch_logs {
        log_group => [ "/my/log/group" ]
        region => "us-west-2"
        access_key_id => "access_key"
        secret_access_key => "secret_key"
        }
}
output {
    stdout { }
}

, я вижу новые журналы, поступающие в мой поток журналов, в моей консоли Cli.Я знаю, что плагин работает правильно. НО , когда я пытаюсь отправить эти журналы в мое эластичное облако, я получаю ошибку , упомянутую выше .Я понятия не имею, что происходит.

...