Я повторю ответы всех остальных здесь, в том смысле, что делегаты не являются проблемой, если они не являются проблемой - профилировщики - ваш друг.
Одна вещь, на которую следует обратить внимание, может Беда в том, что вы воссоздаете делегатов каждый кадр - в этом случае вы можете генерировать лишний мусор, который снизит вашу производительность.Однако сначала используйте такие инструменты, как профилировщик CLR, чтобы определить, является ли это проблемой для вас.