Есть последствия для производительности, оставляя их там; индексы поддерживаются для каждой вставки, обновления или удаления в таблицу.
С другой стороны, откуда вы знаете, что индекс не использовался? DMV великолепен, но он охватывает только время с момента последнего перезапуска SQL Server. Таким образом, если у DMV нет данных за полный бизнес-цикл, вы можете убить годовой отчет генерального директора при следующем его запуске.
По моему скромному мнению: никогда, никогда, никогда не бросайте индекс, основанный исключительно на информации в использовании DMV.