Это зависит от того, что вы собираетесь делать с данными.
Если вы выполняете поиск и выбираете на основе неиндексированного поля, процесс будет медленным. Аналогично, если вы выполняете операции объединения или слияния на основе неиндексированного поля, вы получаете замедление.
Если в таблице миллионы строк, это может быть слишком медленно, чтобы быть приемлемым.
Ограничение доступа только одним полем в некоторых ситуациях может быть слишком ограничивающим.
Опять же, это зависит от того, что вы собираетесь делать с данными.