список автоматических снимков RDS, созданных сегодня, и их копирование в другой регион с помощью boto3 - PullRequest
Новая
       35

список автоматических снимков RDS, созданных сегодня, и их копирование в другой регион с помощью boto3

0 голосов
/ 07 мая 2018

Мы строим автоматизированный холодный сайт DR в другом регионе, в настоящее время работаем над получением списка созданных сегодня автоматических снимков RDS и передачей их другой функции для копирования их в другой регион AWS.

Проблема связана с клиентом RDS boto3, который возвращает уникальный формат даты, что затрудняет фильтрацию по дате создания. 

today = (datetime.today()).date()
rds_client = boto3.client('rds')
snapshots = rds_client.describe_db_snapshots(SnapshotType='automated')

harini = "datetime("+ today.strftime('%Y,%m,%d') + ")"
print harini

print snapshots

for i in snapshots['DBSnapshots']:

  if i['SnapshotCreateTime'].date() == harini:
      print(i['DBSnapshotIdentifier'])
      print (today)

несмотря на то, что дата «harini» уже преобразована в формат «SnapshotCreateTime»: datetime (2015, 1, 1), функция Lambda по-прежнему не может вывести снимки.

1 Ответ

0 голосов
/ 21 апреля 2019

Лучший способ - копировать файлы по мере их создания, вызывая лямбда-функцию, используя событие наблюдения за облаком.

См. Пошаговую инструкцию: https://geektopia.tech/post.php?blogpost=Automating_The_Cross_Region_Copy_Of_RDS_Snapshots

Кроме того, вы можете выдать копию для каждого снимка независимо от даты. Клиент вызовет исключение, и вы можете перехватить его следующим образом 

# Written By GeekTopia
#
# Copy All Snapshots for an RDS Instance To a new region
# --Free to use under all conditions
# --Script is provied as is. No Warranty, Express or Implied

import json
import boto3
from botocore.exceptions import ClientError
import time
destinationRegion = "us-east-1"
sourceRegion = 'us-west-2'
rdsInstanceName = 'needbackups'

def lambda_handler(event, context):
    #We need two clients
    # rdsDestinationClient -- Used to start the copy processes. All cross region 
copies must be started from the destination and reference the source
    # rdsSourceClient      -- Used to list the snapshots that need to be copied. 

    rdsDestinationClient = boto3.client('rds',region_name=destinationRegion)
    rdsSourceClient=boto3.client('rds',region_name=sourceRegion)

    #List All Automated for A Single Instance 

    snapshots = rdsSourceClient.describe_db_snapshots(DBInstanceIdentifier=rdsInstanceName,SnapshotType='automated')

    for snapshot in snapshots['DBSnapshots']:
        #Check the the snapshot is NOT in the process of being created
        if snapshot['Status'] == 'available':

            #Get the Source Snapshot ARN. - Always use the ARN when copying snapshots across region
            sourceSnapshotARN = snapshot['DBSnapshotArn']

            #build a new snapshot name
            sourceSnapshotIdentifer = snapshot['DBSnapshotIdentifier']
            targetSnapshotIdentifer ="{0}-ManualCopy".format(sourceSnapshotIdentifer)
            targetSnapshotIdentifer = targetSnapshotIdentifer.replace(":","-")

            #Adding a delay to stop from reaching the api rate limit when there are large amount of snapshots -
            #This should never occur in this use-case, but may if the script is modified to copy more than one instance. 
            time.sleep(.2)            

            #Execute copy
            try:
                copy = rdsDestinationClient.copy_db_snapshot(SourceDBSnapshotIdentifier=sourceSnapshotARN,TargetDBSnapshotIdentifier=targetSnapshotIdentifer,SourceRegion=sourceRegion)
                print("Started Copy of Snapshot {0} in {2} to {1} in {3} ".format(sourceSnapshotIdentifer,targetSnapshotIdentifer,sourceRegion,destinationRegion))    
            except ClientError as ex:
                if ex.response['Error']['Code'] == 'DBSnapshotAlreadyExists':
                    print("Snapshot  {0} already exist".format(targetSnapshotIdentifer))
                else:
                    print("ERROR: {0}".format(ex.response['Error']['Code']))

    return {
        'statusCode': 200,
        'body': json.dumps('Opearation Complete')
    }
...