Я разрабатываю веб-API, который требует обработки большого количества больших файлов [5–10 ГБ каждый] и каталогизации их на основе их содержимого. Это также должно быть безопасно.
Мне нужно хранить файлы таким образом, чтобы они были:
1. Безопасный.
2. Эффективность в производительности.
3. Легко каталогизировать и управлять.
При поиске я нашел 2 способа хранения этих файлов:
1. Хранение непосредственно в файловой системе и обращение к ним по их путям.
ПРОБЛЕМА. По сравнению с базами данных данные небезопасны.
2. Хранение в базе данных в виде капель.
ПРОБЛЕМА - База данных загружает большие двоичные объекты в оперативную память каждый раз, когда они им требуются, что приводит к высокому потреблению ресурсов и влияет на производительность.
Какой я должен использовать? Или есть другой способ? Пожалуйста, поддержите ваш ответ примерами.
-Спасибо заранее.