Как отфильтровать и вывести список всех объектов в папке s3 определенного размера, используя python - PullRequest
Новая
       13

Как отфильтровать и вывести список всех объектов в папке s3 определенного размера, используя python

0 голосов
/ 18 апреля 2019

Я пытаюсь получить все файлы указанного размера в папке корзины s3.Как мне пройти итерации по корзине и отфильтровать файлы по указанному размеру?Я также хочу вернуть имена файлов тех, кто имеет правильный размер. 

s3 = boto3.client('s3')
s3.list_objects_v2(Bucket = 'my-images')

Пример вывода 

 u'Key': u'detail/01018535.jpg',
   u'LastModified': datetime.datetime(2019, 1, 23, 0, 48, 41, tzinfo=tzlocal()),
   u'Size': 13535,
   u'StorageClass': 'STANDARD'},
  {u'ETag': '"cd65991a1c6f118e8b036208a30028a7"',
   u'Key': u'detail/0119AF2.jpg',
   u'LastModified': datetime.datetime(2019, 1, 10, 17, 17, tzinfo=tzlocal()),
   u'Size': 12984,
   u'StorageClass': 'STANDARD'}

, например, допустим, что я хотел бы найти размер12984. Затем он вернул бы «Ключ»

Ответы [ 2 ]

0 голосов
/ 19 апреля 2019

Если вы хотите использовать boto3, я использую эту функцию для поиска объектов с нулевым байтом. Вы можете настроить его в соответствии с вашими потребностями, выбрав определенный размер 

import boto3

def get_empty_objects(bucket_name, prefixes):
    """
    get list of objects from a given s3 prefix recursively
    """
    results = []
    for prefix in prefixes:
        s3client = boto3.client('s3')
        paginator = s3client.get_paginator("list_objects_v2")
        paginator_result = paginator.paginate(
            Bucket=bucket_name, Prefix=prefix)
        try:
            for object in paginator_result.search('Contents'):
                if object['Size'] == 0:
                    results.append("s3://" + bucket_name + "/" + object['Key'])
        except Exception as err:
            print(">>> Error processing objects of [s3://" + bucket_name +
                  "/" + prefix + "] - " + str(err))
        print(">>> Returning " + str(len(results)) + " objects for [s3://" + bucket_name + "/" + prefix + "]")
    return results

Использование: 

get_empty_objects("mybucket", ["prefix1/", "prefix2/"])
0 голосов
/ 19 апреля 2019

Вы можете использовать выражение --query: 

aws s3api list-objects-v2 --bucket my-images --query 'Contents[?Size==`12984`].[Key]' --output text

Я поставил [Key] в квадратных скобках, чтобы каждый из них отображался на отдельной строке.

Этот синтаксис работает накомандная строка Mac.В Windows могут потребоваться разные кавычки.

Советы по использованию таких выражений см. В Учебное пособие по JMESPath

...