Если бы объекты были маленькими и недолговечными, я бы не сильно волновался.Скорее всего, их собирают с помощью Gen0 GC, который обычно относительно дешев.
Вы можете реализовать пул, но по моему опыту это необходимо, только если вы выделяете большие объекты (если я правильно помню, объекты размещаются накуча больших объектов, если их размер превышает 80 КБ) или очень много (много миллионов в секунду) объектов.
Так что сначала реализуйте это как обычно.И только если вы видите, что ваша программа проводит много времени в GC, вам следует беспокоиться о выделении средств.Скорее всего, вы думаете о преждевременной оптимизации.