Частота обновления GCS Bucket, как мне установить его? - PullRequest
Новая
       4

Частота обновления GCS Bucket, как мне установить его?

1 голос
/ 14 февраля 2020

Я пытаюсь использовать logsta sh to pu sh сообщения для GCS, используя плагин вывода ниже. Я могу видеть сообщения в корзине, однако они появляются каждый час, а не в реальном времени. Где я могу изменить частоту отправки журнала?

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-google_cloud_storage.html

PS: я пытался добавить это в свой конфигурационный файл, но безрезультатно: flush_interval_secs = > 2

мой конфиг выглядит примерно так: 

input{
kafka {
    zk_connect => "xxxxxxxxxxxxxxxxxxxxxx"
    group_id => "yyyyyyyyyyyyyyyyyyyyyyyyyyyy"
    topic_id => "zzzzzzzzzzzzzzzzz"
    reset_beginning => true
    auto_offset_reset => "smallest"
    }
}
output
{
    google_cloud_storage {
       bucket => "aaaa/bbb"
       flush_interval_secs => 15
    }
    stdout
         {
              codec => rubydebug
         }
}

1 Ответ

1 голос
/ 14 февраля 2020

С Документация :

Интервал загрузки при загрузке новых файлов в GCS. Настройте время в соответствии с вашим временным шаблоном (например, для почасовых файлов этот интервал может составлять около одного часа).

Значение по умолчанию: 60.

Пример: 

output {
   google_cloud_storage {
     bucket => "my_bucket"                                     (required)
     date_pattern => "%Y-%m-%dT%H:00"                          (optional)
     uploader_interval_secs => 60                              (optional)
   }
}

Кроме того, вы также можете установить date_pattern, который является шаблоном времени для файла журнала. ,

...