Я создал приложение для чата, в котором сейчас храню полную историю чатов всех пользователей.
Я использую django в качестве базы данных и postgres в качестве базы данных. У меня около 100 тысяч ежедневных активных пользователей, что составляет около 1 миллиона сообщений в день.
Так мне интересно, как масштабировать данные postgres по горизонтали? Я слышал, что в базах данных SQL шардинг не прост, и у них есть ограничение на масштабирование. Как я слышал, большая таблица Google может масштабироваться до 100 петабайт, тогда как postgres трудно масштабировать до этого уровня. Это правда? Если нет, то как масштабировать в данный момент? Кроме того, как обращаться с историей сообщений, они со временем станут слишком большими для обработки?
Другой вопрос, должен ли я перейти к другому набору данных, чтобы справиться с масштабированием, таким как mongodb, Cassandra или что-то еще, потому что это заставляет меня опасаться, что в конечном итоге мне придется масштабировать до миллиардов сообщений в месяц, и если я смогу перейти сейчас, это будет будь лучше. Я не хочу переоценивать или переоценивать, я просто хочу получить представление о том, как это сделать