Это, безусловно, приемлемое время для количества строк на сервере базы данных, тем более что вы сказали, что это не так быстро. Если бы у вас был индекс, это бы не помогло. Индексы используются, чтобы помочь серверу баз данных быстрее находить конкретные записи.