Варианты хранения больших текстовых объектов в / с базой данных SQL?

Question

У меня есть большие объемы текста (файлы журналов), которые могут быть очень большими (до гигабайт).Они связаны с сущностями, которые я храню в базе данных, и я пытаюсь выяснить, следует ли мне хранить их в базе данных SQL или во внешних файлах.

Это похоже на хранение в базе данных.может быть ограничено 4 ГБ для полей LONGTEXT в MySQL, и предположительно другие БД имеют аналогичные ограничения.Кроме того, хранение в базе данных, по-видимому, исключает любой вид поиска при просмотре этих данных - мне придется загружать всю длину данных, чтобы отобразить любую их часть, верно?

Так что, похоже, яЯ склоняюсь к хранению этих данных вне базы данных: верны ли мои опасения по поводу хранения больших двоичных объектов в базе данных, и если я собираюсь хранить их вне базы данных, то существуют ли какие-либо фреймворки / библиотеки, чтобы помочь с этим?

(я работаю в Python, но интересуюсь технологиями и на других языках)

Answer 1

Ваши опасения верны.

БД получили возможность обрабатывать большие двоичные и текстовые поля несколько лет назад, и после того, как все попробовали, мы сдались.

Проблема связана с тем, чтоваши операции над большими объектами, как правило, сильно отличаются от ваших операций над атомарными значениями.Так что код становится сложным и непоследовательным.

Так что большинство ветеранов просто хранят их в файловой системе с указателем в БД.

Answer 2

Я знаю, что php / mysql / oracle / prob more позволяет работать с большими объектами базы данных, как если бы у вас был указатель файла, который позволяет обойти проблемы с памятью.