Я хотел бы получить все ключи из «подпапки» в корзине s3 и поместить эти ключи в список, чтобы я мог использовать этот список для многопроцессорной обработки файлов на s3. Мой текущий подход описан ниже и занимает около 5 минут для «подпапки», содержащей ~ 800 000 элементов. Есть ли более быстрый способ сделать это?
import boto3
s3 = boto3.resource('s3')
mybucket = s3.Bucket('bucket-name')
ls_keys = []
for obj in mybucket.objects.filter(Prefix='foo/bar'):
ls_keys.append(obj.key)