Kinesis не может перенести все мои файлы журналов на S3, а только последний. - PullRequest
Новая
       130

Kinesis не может перенести все мои файлы журналов на S3, а только последний.

0 голосов
/ 02 августа 2020

У меня есть несколько файлов журналов с именами yyyy-mm-dd (например, app-2019-08-01.log) в EC2, который является CenOS.

Я хочу сделать резервную копию (перенести) их на S3 через Kinesis Firehose. Я отправил официальное руководство и несколько сообщений от других людей, чтобы установить и настроить agent.json, как показано ниже: 

{
    "cloudwatch.emitMetrics": false,
    "firehose.endpoint": "https://your/firehose/endpoint", 
    "flows": [
        {
            "filePattern": "/tmp/app-2019*.log", 
            "kinesisStream": "yourkinesisstream"
        }
    ] 
}

Последний файл журнала 2019 года был назван app-2019-12-31.log. Но когда я запускаю кинезис, у меня есть только последний файл, переданный на S3.

Я прочитал официальное руководство, кажется, что filePattern поддерживает какое-то регулярное выражение (?). И я установил initialPosition на START_OF_FILE, но не работал.

Я нашел решение на форуме здесь Но ничего не помогает.

Итак, как Могу ли я перенести все свои файлы журналов 2019 на S3? В чем проблема?

...