Импорт данных из ошибки MySQL - конвейер прерван - PullRequest
Новая
       14

Импорт данных из ошибки MySQL - конвейер прерван

0 голосов
/ 02 июня 2018

Импорт данных из mysql в Elastic Search через kibana Получение предупреждения - Игнорирование файла pipelines.yml, поскольку указаны модули или параметры командной строки

и конвейер завершен{: pipe_id => "main",: thread => "#"}

и мой conf 

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}


output{
   stdout { codec => json_lines }
  elasticsearch {
 "hosts" => "localhost:9200"
  "index" => "test-migrate"
  "document_type" => "data"
  }
}

Есть какое-нибудь решение для этого?

1 Ответ

0 голосов
/ 05 июня 2018

По умолчанию, если вы выполняете один запрос без использования планирования, конвейер logstash будет прерван после обработки запроса.Вам необходимо включить планирование во входном сигнале jdbc, чтобы периодически его запускать, как указано ниже: 

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    schedule => "0 * * * *"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}

Это будет выполнять ваш запрос на 0-й минуте каждого часа каждый день .Синтаксис для расписания очень похож на cron-like.Пожалуйста, посмотрите здесь для синтаксиса и более подробной информации.

...