Преобразование данных в logstash

Question

У меня есть источник данных, SQL-сервер, доступный только для чтения, и, объединяя таблицы с этого сервера, я делаю журнал, который мне нужно загрузить в него Elastic Search.

Для этого явызовите API для источника данных, затем выполните преобразование данных в Logstash, а затем загрузите его в ES.

Я выполнял преобразование данных несколько раз в SQL.В SQL я JOIN несколько таблиц и INSERT запрос приводит к таблице журнала, но у меня нет опции SQL в этой настройке, мне нужно сделать преобразование в logstash.

То, о чем я прошу, - это рекомендации по использованию logstash.

Answer 1

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost/student?user=root&password="
    jdbc_user => "Croos"
    parameters => {
    }

    schedule => "* * * * *"
    statement => "SELECT * from subject WHERE id > :sql_last_value"
    use_column_value => true
    tracking_column => id
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

Эта ссылка может помочь вам полностью.