Использование Amazon S3 в качестве ограниченной базы данных

Question

Я просмотрел эту запись в базе данных s3 vs. Но у меня другой вариант использования, и я хочу знать, достаточно ли s3. Основная причина использования s3 вместо других баз данных в облаке - из-за стоимости.

У меня есть несколько сборщиков, которые ежедневно загружают данные с веб-сайтов и apis. Большинство из них возвращают данные в формате Json. В настоящее время я вставлю их в mongodb. Затем я проведу анализ, запросив данные на определенную c дату или некоторые определенные c поля или записи, которые соответствуют определенным критериям. После запроса данных, как правило, я загружаю их в кадр данных и делаю все необходимое.

Данные не будут обновляться. Они должны быть сохранены и готовы к поиску в соответствии с некоторыми критериями. Мне известно о S3 Select , который может выполнить задачу поиска.

Любые рекомендации?

Answer 1

В случаях использования, которые вы упомянули выше, кажется, что вы не используете возможности MongoDB (например, любую базу данных).

Я думаю, S3 хорошо подходит для вашего используйте cases, фактически вы должны go для S3-Infrequent доступа с политикой жизненного цикла к archive и, наконец, purge для cost efficient.

Надеюсь, это поможет!

Answer 2

Я думаю, что ваш код будет более эффективным, если вы используете DynamodB со всеми его функциями. использование s3 для базы данных или хранилища данных сделает ваш код более сложным. так как вам нужно каждый раз извлекать файл из s3 и каждый раз выполнять итерацию файла. А в случае DynamodB вы можете легко запрашивать и фильтровать данные, которые требуются. В конце s3 - хранилище файлов, а dynmodb - база данных.