Невозможно отправить данные в экземпляр упругого поиска AWS с помощью logstash - PullRequest
Новая
       14

Невозможно отправить данные в экземпляр упругого поиска AWS с помощью logstash

0 голосов
/ 01 мая 2019

Я пытаюсь отправить данные в конечную точку упругого поиска AWS с помощью logstash, установленного на моем локальном компьютере.

Файл logstash conf выглядит следующим образом 

input {
     file {
        path => "/path/log.txt"
      }
}
output {
   amazon_es {
        hosts => ["https://search-abclostashtrial-5jdfc43oqql7qsrhfgbvwewku.us-east-2.es.amazonaws.com"]
    action => "index"   
    region => "us-east-2"   
    index => "trial"
    ssl => true

    }
}

Политика доступа с эластичным поиском выглядит следующим образом 

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-2:0415721453395:domain/abclostashtrial/*"
    }
  ]
}

Я использую плагин logstash-output-amazon_es для отправки запросакак

sudo bin/logstash -f /path/logstash/abc.conf

И я получаю следующий журнал ошибок.

[ERROR] 2019-04-30 20:05:52.900 [Converge PipelineAction::Create<main>] agent - Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Could not execute action: PipelineAction::Create<main>, action_result: false", :backtrace=>nil} 
[INFO ] 2019-04-30 20:05:53.165 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600} 
[INFO ] 2019-04-30 20:05:58.037 [LogStash::Runner] runner - Logstash shut down.

Что мне здесь не хватает?

1 Ответ

0 голосов
/ 09 мая 2019

Один из вариантов, с которого нужно начать, - это создать AccessKey, который имеет права на запись в Elasticsearch, и настроить его в выходных данных.Пример: 

amazon_es {
    hosts => ["vpc-xxxxxxxxx-es-yyyyyy4pywmwigwi47em.us-east-1.es.amazonaws.com"]
    region => "us-east-1"
    aws_access_key_id => 'AKIxxxxxxxxxxx'
    aws_secret_access_key => '11xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
    index => "production-logindex-%{+YYYY.MM.dd}"
    }
...