Квадрат будет быстрее.
Но квадрат переполнится, если n больше корня квадратного из наибольшего целого, и тогда сравнение пойдет не так.Функция квадратного корня может (и вы ожидаете) быть реализована таким образом, что она может быть рассчитана на аргументы вплоть до самого большого представимого целого числа.Это означает, что в этом случае все пойдет не так.
В Java самое большое значение int равно 2 ^ 31 - 1, что означает, что его квадратный корень чуть меньше 46341. Если вы хотите искать простые числа, большие чемэто, квадратура остановит вас.