Создание индекса для ключей корзины Amazon S3

Question

Какова общая стратегия индексации ключей S3, так как можно было бы запрашивать ключи? Зная, что несколько операций S3 не могут быть в одной транзакции, то невозможно создать индекс таким образом: предыдущий метод, поэтому ошибка провода или другого соединения будет означать, что первая операция не будет иметь индекса.

Answer 1

Нет возможности «искать» ключи Amazon S3. Ближайшая возможность - указать Prefix, который может быть путем к каталогу или частичным именем объекта.

Вызов ListObjects возвращает только 1000 объектов за раз. Это означает, что получение больших корзин с более чем 100 000 объектов может быть медленным.

Если вам нужен быстрый индекс с возможностью поиска, вы можете сохранить список ключей в DynamoDB . Затем используйте события Amazon S3 для запуска AWS лямбда-функций при добавлении и удалении объектов, чтобы обновить DynamoDB.

В качестве альтернативы, если у вас есть большое количество объектов, но они не меняются часто, вы можете использовать Amazon S3 Inventory для получения ежедневного или еженедельного CSV-файла со списком всех объектов.