Официальный модуль упругого облака logstash
Официальный документ для начала с
Мой logstash.yml
выглядит так:
cloud.id: "Test:testkey"
cloud.auth: "elastic:password"
С 2 пробелами впереди и без пробелов в конце, в пределах ""
Это все, что у меня есть в logstash.yml
и ничего больше,
И я получаю:
[2018-08-29T12:33:52,112][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"https://myserverurl:12345/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'https://myserverurl:12345/'"}
А my_config_file_name.conf
выглядит так:
input{jdbc{...jdbc here... This works, as I see data in windows console}}
output {
stdout { codec => json_lines }
elasticsearch {
hosts => ["myserverurl:12345"]
index => "my_index"
# document_id => "%{brand}"
}
Что я делаю, это нажимаю bin/logstash
на окнах cmd
,
Он загружает данные из базы данных, которую я настроил при вводе файла conf, и затем показывает ошибку, я хочу проиндексировать свои данные с MySQL
до elasticsearch
в облаке, я пробовал 14 дней и создал тестовый индекс для обучения цель, как мне позже придется развернуть его.
Мой конвейер выглядит так:
- pipeline.id: my_id
path.config: "./config/conf_file_name.conf"
pipeline.workers: 1
Если в журналах не будет содержательных данных, я также могу их предоставить.
Обычно я не хочу синхронизировать (проверять расписание) мои данные MYSQL
с ElasticSearch
в облаке, т.е. AWS