Да, и это может быть очень значительным.
Если есть 100 миллионов строк, SQL-сервер должен пройти каждую из них и посмотреть, соответствует ли она.
Это занимает намного больше времени по сравнению с 10 строками.
Возможно, вам нужен индекс для столбца 'x', и в этом случае сервер SQL может проверить индекс, а не проходить все строки - что может быть значительно быстрее, поскольку серверу SQL даже не нужно проверять значения в индексе.
С другой стороны, если 100 миллионов строк соответствуют x = 5, это медленнее, чем 10 строк.