Инкрементная индексация с использованием Logsta sh от SQL Server до Elasticsearch - PullRequest
Новая
       63

Инкрементная индексация с использованием Logsta sh от SQL Server до Elasticsearch

0 голосов
/ 08 января 2020

Привет всем. Я получаю сообщение об ошибке ниже при запуске моей logsta sh для индексирования записи из базы данных SQLserver вasticsearch 

Java Version : 13
Logstash : 7.2.0
Elastic search :  7.2.0
JDBC Driver :  mssql-jdbc-7.4.1.jre12-shaded

Файл MyConfig 

input {
jdbc {
jdbc_driver_library => "C:\Users\Mohan\Downloads\MsoftDriver\sqljdbc_7.4\enu\mssql-jdbc-7.4.1.jre12-shaded.jar"
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string => "jdbc:sqlserver://DESKTOP-VHDBS6E\SQLEXPRESS:1433;databaseName=mohan;"
jdbc_user => "mohan"
jdbc_password => "mohan"
statement => "SELECT * FROM [User_Name]"
start_position=> "beginning"
}
}
filter {
}

output {
elasticsearch {
hosts => "http://localhost:9200"

index => "Employee"

}
stdout { codec => rubydebug }
}

Ошибка ниже: 

 Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Something is wrong with your configuration.", :backtrace=>["C:/Users/Mohan/Desktop/EsearchKibana/logstash-7.2.0/logstash-core/lib/logstash/config/mixin.rb:87:in `config_init'", "C:/Users/Mohan/Desktop/EsearchKibana/logstash-7.2.0/logstash-core/lib/logstash/inputs/base.rb:60:in `initialize'", "org/logstash/plugins/PluginFactoryExt.java:258:in `plugin'", "org/logstash/plugins/PluginFactoryExt.java:120:in `buildInput'", "org/logstash/execution/JavaBasePipelineExt.java:50:in `initialize'", "C:/Users/Mohan/Desktop/EsearchKibana/logstash-7.2.0/logstash-core/lib/logstash/java_pipeline.rb:24:in `initialize'", "C:/Users/Mohan/Desktop/EsearchKibana/logstash-7.2.0/logstash-core/lib/logstash/pipeline_action/create.rb:36:in `execute'", "C:/Users/Mohan/Desktop/EsearchKibana/logstash-7.2.0/logstash-core/lib/logstash/agent.rb:325:in `block in converge_state'"]}

Может ли кто-нибудь помочь мне решить эту проблему?

Ответы [ 3 ]

2 голосов
/ 09 января 2020

Ошибка из-за start_position => "начало". пожалуйста, прокомментируйте это и попробуйте один раз.

1 голос
/ 09 января 2020

Ну, нет такой настройки "start_position" для плагина jdb c -input. Logsta sh не может распознать этот параметр и поэтому не работает. Взгляните на do c - вы там его не найдете.

Также учтите, что в jdb c -input-plugin есть ошибка с Java версия 9 и выше (это будет следующая проблема с вашей конфигурацией, я думаю). Поэтому, пожалуйста, обратитесь к этой проблеме github и к этому временному решению , когда logsta sh не удается, потому что он не может загрузить драйвер jdb c.

0 голосов
/ 09 января 2020

Привет, все вышеуказанные проблемы решены для меня, я надеюсь, что это связано с неправильным драйвером JDB C. Я скачал клиент JDB C напрямую по ссылке ниже, вместо Microsoft, и поместил файл в

\ logsta sh -7.2.0 \ logsta sh -core \ lib \ jars

https://www.elastic.co/downloads/past-releases/jdbc-client-7-2-0

Примечание: Мой журнал sh версия 7.2.0

logsta sh Конфигурация сработала для метода инкрементной индексации 

input {
jdbc {
jdbc_driver_library => ""
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string => "jdbc:sqlserver://DESKTOP-VHDBS6E\SQLEXPRESS:1433;databaseName=xxxxx;"
jdbc_user => "xxxxx"
jdbc_password => ""xxxx
jdbc_paging_enabled => true
tracking_column => modified_date
use_column_value => true
clean_run => true
tracking_column_type => "timestamp"
schedule => "*/2 * * * * *"
statement => "SELECT * from [User_Name] where modified_date >:sql_last_value"
}
}

filter {
 mutate {
   remove_field => ["@version","@timestamp"]
 }
}

output {
elasticsearch {
hosts => "http://localhost:9200"
index => "employee"
document_type => "_doc"
document_id => "%{id}"

}
stdout { codec => rubydebug }
}

Надеюсь, эта справка для тех, кто пытается обработать инкрементную индексацию в Elasticsearch с использованием logsta sh

...