Это полностью зависит от того, что делает ваше приложение, и от деталей того, как вы реализуете шаблоны. Сами шаблоны проектирования на самом деле не связаны с производительностью, но предназначены для того, чтобы помочь вам структурировать вашу систему для обеспечения удобства обслуживания.
Кроме того, производительность не должна быть проблемой на этом этапе; сначала сфокусируйтесь на том, чтобы закрепить дизайн, и если он окажется слишком медленным, только тогда вы должны беспокоиться об оптимизации.