Переслать логи на месте в Kinesis Firehose

Question

Для ведения журнала приложений я планирую переслать журнал с локальных серверов на пожарный шланг AWS Kinesis.Я пытаюсь использовать Logstash и log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis

Но я думаю, что этот плагин требует пересылки данных журнала в поток данных Kinesis, а затем мы можем создать канал для Kinesis Firehose.Если мы укажем на поток доставки Kinesis Firehose, то получим сообщение об ошибке - ResourceNotFoundException Сообщение: тест потока под учетной записью XXXX не найден

Но если мы укажем тайник журнала на поток данных Kinesis, а затем передадим его в KinesisFirehose, тогда он работает нормально.

Кто-нибудь использовал этот плагин log-stashoutput для пересылки данных журнала напрямую в Kinesis Firehose.

Answer 1

logstash-output-kinesis использует библиотеку Kinesis Producer (KPL) для записи данных в потоки Kinesis. На данный момент KPL не поддерживает запись в Firehose напрямую. - https://github.com/awslabs/amazon-kinesis-producer/issues/29

Также Firehose и Kinesis имеют разные конечные точки службы, и в проекте logstash-output-kinesis кажется, что есть только опция для установки конечной точки kinesis. Таким образом, даже если вы указали действительное имя Firehose в конфигурации, поскольку набор конечных точек соответствует AWES kinesis, вы должны ожидать появления «ResourceNotFoundException». - https://github.com/samcday/logstash-output-kinesis/blob/acffae5beddcf00aa599c1fa75428f57bb7e7e30/lib/logstash/outputs/kinesis.rb#L55