Зависит от технологий, которые вы используете, и от того, как написан код, который вы пишете.
Поскольку вы пометили sql-сервер, когда речь идет о базах данных в целом, вы часто ограничены стратегиями блокировки и архитектурой репликации. То, как вы разрабатываете свою базу данных и запускаете ее в производство, имеет большое значение. Вещи, которые должны происходить любым последовательным способом, являются узкими местами. Проверяйте свои планы выполнения, наблюдайте и управляйте вашими индексами, а также копируйте и распространяйте свои системы, если можете.
Лучший способ понять ваши ограничения по масштабируемости - это нагрузочное тестирование и надлежащий контроль качества.
Если вы не сделаете это правильно, ваши пользователи наверняка будут недовольны, когда вы начнете 503ing или тайм-аут. :-)