Производительность может ухудшиться за несколько тысяч строк, если база данных не спроектирована должным образом.
Если у вас есть надлежащие индексы, используйте надлежащие механизмы (не используйте MyISAM, где ожидается несколько DML), используйте разделы, выделите правильную память в зависимости от использования и, конечно, имеете хорошую конфигурацию сервера, MySQL может обрабатывать данные даже в терабайтах !
Всегда есть способы улучшить производительность базы данных.