Фильтр Logstash для определения совпадения адресов - PullRequest
0 голосов
/ 17 января 2019

У меня есть файл CSV с адресами клиентов. У меня также есть индекс Elasticsearch с моими собственными адресами. Я использую Logstash как инструмент для импорта файла CSV. Я хотел бы использовать фильтр logstash для проверки моего индекса, если адрес клиента уже существует. Все, что я нашел, это фильтр по умолчаниюasticsearch («Копирует поля из предыдущих событий журнала в Elasticsearch в текущие события»), который не выглядит правильным для решения моей проблемы. Существует ли другой фильтр для моей проблемы?

Здесь мой конфигурационный файл:

input {
  file {
    path => "C:/import/Logstash/customer.CSV"
    start_position => "beginning"
    sincedb_path => "NUL"
  }
}
filter {
  csv {
    columns => [
      "Customer",
      "City",
      "Address",
      "State",
      "Postal Code"
      ]
      separator => ";"
  }
}
output {
    elasticsearch {
      hosts => [ "localhost:9200" ]
      index => "customer-unmatched"
    }
    stdout{}
}

1 Ответ

0 голосов
/ 12 февраля 2019

У вас обычно нет доступа к данным в Elasticsearch во время обработки вашего события Logstash. Рассмотрите возможность использования конвейера на Входном узле

...