У вас проблемы с производительностью или вы пытаетесь оптимизировать код до того, как он будет написан?
Класс Comparer
, как правило, не самый высокопроизводительный класс в .NET Framework, но он должен обслуживать довольно много сценариев.
Если вы знаете тип источника и цели, вам лучше реализовать собственный класс сравнения.
Однако, если вы не знаете, что у вас есть проблемы с производительностью, я бы не стал сильно беспокоиться об этом.