Обычно это не указано и может зависеть от базы данных (и драйвера JDBC).
Реализация JDBC, которая всегда содержит все строки в памяти, будет иметь проблемы с действительно большими результатами, в то время как реализации, которые извлекают каждую строку в отдельности, будут иметь низкую производительность (по крайней мере, если база данных находится где-то удаленно).
Таким образом, большинство реализаций извлекают данные в блоках некоторого размера, зависящего от реализации. Я понятия не имею, что будут делать любые драйверы MySQL JDBC.