Вам необходимо убедиться, что вы удалили два файла из Visual Studio, а не из проводника (может, это то, что вы уже делаете?) Таким образом, он не только удаляет t4mvc.tt, но также и все сгенерированные файлы, которые находятся под ним.
Это должно быть все, что нужно для удаления T4MVC. Если этого не произойдет, можете ли вы обновить свой вопрос с более подробной информацией о конкретных предупреждениях, которые вы видите? Кроме того, вы видите эту проблему в новом проекте или только в более сложном проекте?