Это зависит. Является ли таблица справочной таблицей?
Существуют таблицы из тысячи строк, в которых отсутствует индекс, и результирующие просмотры таблиц могут сделать разницу между довольно простой операцией, задерживающей пользователя на 5 минут вместо 5 секунд. Я видел именно эту проблему, используя СУБД, отличную от SQL Server.
Как правило, если таблица является справочной, обновления в ней будут относительно редкими. Это означает, что снижение производительности при обновлении индекса также будет относительно редким. Если оптимизатор передаст индекс, снижение производительности оптимизатора будет незначительным. Пространство, необходимое для хранения индекса, также будет незначительным.
Если вы объявляете первичный ключ, вы должны получить автоматический индекс для этого ключа. Этот автоматический индекс почти всегда будет вам полезен, чтобы оправдать его стоимость. Оставь это там. Если вы создаете справочную таблицу без первичного ключа, в вашей методологии проектирования есть другие проблемы.
Если вы выполняете частые поиски или частые объединения по какому-либо набору столбцов, кроме первичного ключа, дополнительный индекс может окупиться. Не исправляйте эту проблему, если она не является проблемой.
Вот общее практическое правило: придерживайтесь поведения СУБД по умолчанию, если только у вас нет причин не делать этого. Все остальное - преждевременная озабоченность оптимизацией с вашей стороны.