Я не хочу, чтобы база данных становилась большой и громоздкой
Масштабирование базы данных - большая тема, но она все еще вписывается в область оптимизации, которую можно суммировать стри простых правила:
- Не
- Не
- (только для экспертов) Профиль первый!
Что это значитвопрос в том, что вы, вероятно, не должны оптимизировать размер своих данных, пока у вас не будет хорошего представления о
- Сколько данных у вас на самом деле?
- Что такоезапросы, которые вы регулярно выполняете для этих данных, , какие запросы медленные ?
- Чем ваша база данных может помочь изначально?
То, что на первый взгляд может показаться большим количеством данных, часто не о чем беспокоиться.Хорошее практическое правило: если ваш набор данных помещается в память, у вас нет большого набора данных.
Даже если у вас есть большой набор данных, часто бывает так, что релевантна только небольшая его часть(не "завершенные" строки) действительно влияют на запросы.Вы можете сделать это хорошо, просто создав правильную комбинацию индексов, чтобы ваша база данных могла легко находить и обрабатывать строки, которые вы фактически запрашиваете.
И, возможно, вы используете базу данных длянеправильная вещьТо, что вы описываете, некоторые данные приходят, зависают, пока не обрабатываются, а затем архивируются, звучит подозрительно похоже на очередь .Постоянные и распределенные очереди широко доступны (посмотрите на celery для Python-фреймворка, построенного на очереди) и могут лучше подходить для решения проблемы, которую вы пытаетесь решить.