Typecasting будет стоить, потому что информация типа времени выполнения должна быть проверена, чтобы убедиться, что приведение будет работать. По сравнению со всем остальным, я сомневаюсь, что это будет значительным, но вы можете попытаться измерить его.
В целом, приведение типов является (ИМХО) признаком того, что что-то не так в дизайне. Конечно, иногда вы не можете избежать этого (например, работая с устаревшими коллекциями), но я бы определенно увидел, смогу ли я удалить его.