Архивируйте журналы после их публикации в cloudwatch - PullRequest
Новая
       15

Архивируйте журналы после их публикации в cloudwatch

0 голосов
/ 24 марта 2020

Я написал код для архивирования файлов журнала в полночь. Но эти файлы журнала публикуются в cloudwatch каждые 15 секунд. Как я могу гарантировать, что журналы публикуются в cloudwatch и архивировать журналы только после этого. Это необходимо сделать в 15-секундном окне и убедиться, что журналы опубликованы.

Есть ли способ узнать, публикуются ли журналы в cloudwatch?

Мой код для сжатия и удаления старые журналы: 

import gzip
import shutil
import os, time, sys, glob
from datetime import datetime

path = r"/logs"
now = time.time()

# gzip the logs which are more than 10MB
os.chdir(path)
for file in glob.glob("*.log"):
    file = os.path.join(path, file)
    if os.path.getsize(file) > 10000000:
        with open(file, 'rb') as f_in:
            with gzip.open(file+"-"+datetime.today().strftime('%m-%d-%Y')+".gz", 'wb') as f_out:
                shutil.copyfileobj(f_in, f_out)
                os.remove(file)

# delete the gz files which are 7 days old
for file in glob.glob("*.gz"):
    if os.stat(file).st_mtime < now - 7 * 86400:
        if os.path.isfile(file):
            os.remove(file)
...