Это действительно зависит от того, что вам нужно делать с данными в более позднее время.Если данные представляют собой набор из нескольких очень больших файлов, то нормальная файловая система будет в порядке.Если вам нужна возможность поиска и анализа данных, то база данных может быть лучшим решением.
Я работаю и с большими наборами данных в научной среде.Большая часть этих данных является табличной, и когда мы начинали, мы сохраняли каждую точку данных в виде таблицы.Мы обнаружили, что в конце концов гораздо проще сжать таблицы и сохранить их в двоичном двоичном объекте в базе данных.В отдельной таблице мы хранили метаданные об этих таблицах.