Потому что в конечном итоге рабочий набор данных для запроса больше не помещается в память и должен использовать диск для запроса. Поскольку диск, как правило, на много порядков медленнее, чем память, вы внезапно достигнете точки спада, если будете использовать только небольшие наборы данных.
Индексы в базе данных также обычно имеют сложность O (N log N) для поиска (опять же, поиск на диске = медленнее). Если вы не будете осторожны, у вас могут быть декартовы объединения, которые взрывают ваш набор данных.