Лучшая технология для базы данных, которая хранит большие файлы - PullRequest
3 голосов
/ 06 июля 2011

Я заинтересован в поиске подходящего программного обеспечения, которое может помочь мне создать программу, которая будет выполнять следующие действия:

  • простое хранилище значений ключей, где ключом является хеш, а значением является потенциально большой файл.(10-100 МБ. Общий набор данных может легко работать до 200 ГБ и выше)
  • очень низкий объем запросов.может быть, 1000 в час, возможно, меньше
  • в 2–5 раз больше операций чтения, чем записи
  • автоматически удаляет данные, которые некоторое время не запрашивались, чтобы держать дисковое пространство под контролем
  • система может потерять данные.
  • простая установка / несколько зависимостей / простая настройка xplatform

Программное обеспечение, такое как Redis и MongoDB, кажется интересным кандидатом, но также очень похожепопытаться решить проблему эффективной обработки большого количества запросов в секунду, обычно приводящих сайты в действие.Требование, которого у меня нет вообще.

Мне интересно, знаете ли вы инструмент, который лучше соответствовал бы конкретной проблеме, которую я пытаюсь решить.

1 Ответ

3 голосов
/ 19 октября 2012

Исходя из ваших требований, самое простое решение - использовать файловую систему для хранения ваших данных.Используйте хеш-ключ в качестве имени файла.

Поиск будет эффективен, и данные будут автоматически кешироваться в памяти для вас.

Если ваша файловая система поддерживает это, вы можете выполнять регулярную очистку на основе времени последнего доступа для каждого файла.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...