Когда вы действительно загружаете ВСЕ данные из таблицы (без предложения 'where'), я полагаю, вы выполняете большую сортировку? В противном случае выполнение запроса не должно занять 6 секунд.
Поэтому убедитесь, что у вас есть ИНДЕКС для всех столбцов, которые вы используете для сортировки (ORDER BY) или фильтрации (WHERE), и проверьте, достаточно ли большой кэш таблицы, чтобы держать вашу таблицу в памяти.
Но для более подробных ответов вы должны опубликовать свой запрос и структуру таблицы ...