Потоковый API с logstash

Question

Я пытаюсь использовать плагин logstash exec для загрузки потока Twitter в эластичный. Поскольку конечная точка API выдает поток твитов (decahose), плагин exec, похоже, не работает. Есть ли лучшие способы сделать с logstash?

Answer 1

Я только что обнаружил, что плагин ввода 'pipe' работает лучше, чем плагин 'exec' в logstash

 input {
  pipe {
    command => 'curl --compressed -v -u <<username>>:<<password>> "https://gnip-stream.twitter.com/stream/sample10/accounts/<<accountName>/publishers/twitter/<<env>>.json"'
    codec => "json"
  }
}